ETL-arbeidsflyter: Designveiledning & beste praksis

I gjennomsnitt håndterer organisasjoner 400 datakilder jevnlig. Når man bokstavelig talt må forholde seg til hundrevis av datasett, kan dataintegrasjon og nøyaktig dataanalyse være umulig uten de riktige arbeidsflytene.

I denne veiledningen introduserer jeg deg for ETL-arbeidsflyter og gir tips til hvordan du bygger ETL-datarørledninger som støtter forbedret funksjonalitet og datakvalitet.

Hva er ETL-arbeidsflyter?

Vår fullstendige veiledning til ETL forklarer detaljene i ETL-prosessen, inkludert prosessene for uthenting, transformasjon og innlasting. For optimal funksjonalitet må disse prosessene fungere sammen, slik at informasjon flyter effektivt fra datakilden til datavarehuset.

ETL-arbeidsflyter har ansvaret for denne overordnede prosessen. De omfatter vanligvis ulike API-verktøy, koblinger og databehandlingstrinn for å sikre at prosessen for uthenting, transformasjon og innlasting fungerer godt og støtter organisasjonens behov.

Fordeler med ETL-arbeidsflyter

Noen av fordelene med gode ETL-arbeidsflyter er:

• Forbedret datatilgang. Med de riktige ETL-prosessene kan du legge til rette for sanntidstilgang til data for ansatte. Prosessen for uthenting, transformasjon og innlasting sikrer at dataene er klare til bruk når de lagres, noe som gjør det enklere å kjøre SQL-rapporter, datamodeller og andre spørringer.
• Mulighet til å håndtere stordata. Avanserte ETL-prosesser kan håndtere store datamengder og integrere ustrukturerte data uten tidkrevende manuelle prosesser. Dette gjør det enklere for organisasjoner å administrere og dra nytte av stordata.
• Bedre datatransformasjonsprosesser. Den riktige ETL-arbeidsflyten integrerer elementer som datarensing og transformasjon for å forbedre konverteringen av rådata til strukturerte datasett du kan bruke.
• Støtte for effektivitet gjennom automatisering. Import av kildedata, valideringsprosesser og andre oppgaver kan håndteres av ETL-verktøy som støtter automatisering, noe som reduserer tiden det tar å administrere data.
• Mulighet til å anvende forretningsregler i databehandlingsprosesser. Du kan tilpasse ETL-løsninger for å møte ulike organisatoriske behov, inkludert integrering av forretnings- og samsvarsregler i arbeidsflyten for uthenting, transformasjon og innlasting.

Oversikt over ETL-prosessen

Før vi ser nærmere på de viktigste komponentene i ETL-arbeidsflyter og hvordan de modelleres, skal vi først undersøke hvordan disse prosessene fungerer, inkludert målene og utfordringene for hvert trinn.

Uthenting

Under uthentingsdelen av ETL samles informasjon fra én eller flere datakilder. Datauthenting kan omfatte både rådata og tidligere behandlede data, og du kan måtte håndtere ulike filtyper, inkludert CSV og XML.

• Mål: Å samle inn så helhetlige og omfattende data som mulig.
• Utfordringer: Å identifisere datasjøer og kilder, få riktig tilgang til data og tidsplanlegge datainnsamlingen for å sikre oppdaterte prosesser.

Transformasjon

Datatransformasjonsprosessen innebærer å konvertere data til formater som fungerer med de relasjonelle databasene og andre metoder for datalagring og -analyse du ønsker å bruke. Under dette trinnet i ETL kan du vurdere verktøy for å utføre datakartlegging og rensing, fjerne duplikater, formatere, legge til metadata og utføre andre oppgaver – både gjennom automatisering og manuelle arbeidsflyter.

• Mål: Rene og brukbare data som er formatert for å fungere i målsystemet eller datalageret ditt.
• Utfordringer: Datakvalitet er en vanlig utfordring organisasjoner møter når de transformerer data; jo lavere kvaliteten er, desto mer datatransformasjon kreves. Andre utfordringer omfatter mulig datatap, integrering av flere datatyper og å ivareta sikkerheten gjennom hele prosessen.

Innlasting

I det siste trinnet i ETL-prosessene laster du data inn i det endelige datavarehuset, slik at de blir tilgjengelige for bruk etter organisasjonens behov.

• Mål: Å sikre at sikre og rene data er klare til bruk i analyseverktøy, CRM-systemer eller annen forretningsprogramvare.
• Utfordringer: Å sikre datakvalitet og -sikkerhet er også utfordringer i dette trinnet, og organisasjoner må opprette prosesser for datastyring som definerer hvem som kan få tilgang til data, og hvordan de får tilgang. Det kan også være viktig å støtte sanntidstilgang – eller tilgang så nær sanntid som mulig – til data, men satsvis behandling kan føre til tidsforsinkelser i prosessen.

Viktige komponenter i ETL-arbeidsflyter

Det første trinnet i byggingen av ETL-arbeidsflyter er å vurdere hvilke viktige komponenter som bør inkluderes. Bruksområdene for disse arbeidsflytene varierer, og det kan være nødvendig å ta hensyn til unike data- og prosessavhengigheter i organisasjonen din.

Det finnes imidlertid noen komponenter som dataingeniører vanligvis vurderer for ETL-arbeidsflyter, blant annet:

• Datakilder. Hvor kommer dataene fra? Dette kan omfatte importerte filer, e-poster, eksterne API-er og interne databaser.
• Kvalitetssikringskontroller. Automatiserte og manuelle kvalitetssikringsprosesser kan være nødvendige på ulike trinn i ETL-arbeidsflyten for å sikre at dataene oppfyller kvalitetsstandarder eller samsvarer med kravene til det endelige datalageret.
• Datatransformasjonsprosesser. Fjerning av duplikater, formatering og andre oppgaver – ofte automatiserte – bidrar til å forbedre kvaliteten.
• Integrasjonskoblinger. API-er og andre tekniske løsninger kobler sammen ulike deler av prosessen for å sikre en sømløs dataflyt.
• Datasjøer eller datavarehus. ETL-prosesser håndterer vanligvis store datamengder, og du trenger et sted å lagre det ferdige resultatet. Skybaserte dataressurser er vanlige.
• Datakanaler. Datakanalen er den samlede infrastrukturen som gjør det mulig for data å flyte fra kildene, gjennom transformasjon, til det endelige stedet der de lastes inn.
• Programvare og tekniske løsninger. Du kan integrere en rekke teknologiske ressurser for å støtte arbeidsflyten og de ulike oppgavene i den.

Modellering av ETL-arbeidsflyter

Når du modellerer ETL-dataflyter, må du vurdere om du vil behandle dataene i batcher eller som en strøm.

Bygge en ETL-datapipeline med batchbehandling

Med batchbehandling håndterer arbeidsflyten data i batcher eller deler. Hver batch er vanligvis forhåndsbestemt etter tid – du kan for eksempel kjøre batcher daglig, med jevne mellomrom gjennom dagen eller ved starten av hver time.

Batchbehandling er en god løsning når:

• Du ønsker å utnytte stordriftsfordeler
• Du har automatisering på plass som raskt kan håndtere store datamengder
• Tilgang til og behandling av data ikke er svært tidssensitiv

Bygge en ETL-datapipeline med strømmende behandling

Strømmende behandling lar data flyte gjennom ETL i sanntid uten at det bygges opp batcher med data på noe trinn i prosessen. Det er mer fleksibelt enn batchbehandling, men det kan være vanskeligere å sikre datakvalitet og -konsistens med denne typen datapipeline.

Strømmende behandling er en god løsning når:

• Data kommer inn i prosessen i små deler og med ujevne mellomrom
• Tilgangen til data er tidssensitiv, slik at det er avgjørende å få dataene inn i prosessen umiddelbart
• Du ønsker tilgang til trendbasert innsikt uten å vente på at batchbehandlede data skal behandles

Eksempler på ETL-arbeidsflyter

Det er avgjørende å forstå den spesifikke dataflyten og behovene for datahåndtering i bransjen din for å kunne planlegge ETL-arbeidsflyter på en vellykket måte. Se på disse eksemplene fra ulike bransjer for å forstå hvordan krav og avhengigheter kan variere.

ETL for dataflyter i helsesektoren

Helseorganisasjoner trenger nøyaktig og tidsriktig tilgang til pasient- og behandlingsdata, noe som gjør ETL-prosesser avgjørende for å lykkes. Data kan komme fra en rekke kilder, blant annet pasientportaler, elektroniske pasientjournaler, bildeutstyr og tredjepartsleverandører som legemiddelselskaper.

En av de største utfordringene med ETL i helsesektoren er å opprette sikre prosesser som overholder regelverk som HIPAA. Disse prosessene avhenger også av datakilder som mates inn av pasienter, helsepersonell og automatisering, noe som skaper ytterligere utfordringer i datatransformasjonsprosessen.

Når du modellerer datapipelines for helsesektoren, kan det være nødvendig å bruke både strømmende behandling og batchbehandling. Helsepersonell kan for eksempel trenge sanntidstilgang til diagnostiske data, mens kode- og faktureringsdata kan behandles i batcher på slutten av dagen for skadeoppgjør.

ETL for dataflyter i netthandel

Data fra netthandel kommer fra mange kilder, blant annet e-poster, kundeportaler, API-er og apper, sosiale medier, nettsteder, CRM-systemer og regnskaps- eller betalingsprosesser. Dette skaper en enorm utfordring når data skal transformeres uten at kvaliteten forringes.

Batchbehandling fungerer vanligvis godt for mange netthandelsprosesser. Du kan for eksempel hente ordredata hver time og mate dem inn i ETL-prosesser som støtter lager- og forsendelsesoppgaver. Du kan også hente ut betalingsdata daglig, slik at økonomiske poster blir oppdatert. 

Hvis du derimot ønsker å tilby selvbetjening døgnet rundt for kundene, kan strømbaserte arbeidsflyter være mer passende. Tenk deg for eksempel at du har en chatbot som gir kundene informasjon om bestillinger, betalinger, returer og kreditter. Hvis ETL-prosessene dine kjøres i daglige batcher, er informasjonen chatboten gir, alltid minst 24 timer utdatert. 

ETL for økonomiske dataflyter

Banker, kredittkortselskaper, apper for pengeforvaltning og andre organisasjoner og tjenester i finanssektoren er svært avhengige av nøyaktige data. Disse organisasjonene må også forholde seg til omfattende reguleringer og samsvarsstandarder for å holde data sikre.

Datakilder kan omfatte importerte data fra andre finansorganisasjoner, ACH- og oppgjørssentraldata, informasjon fra kundeorienterte apper og mindre strukturerte formater som e-poster. Finansorganisasjoner kan også ønske å bruke en kombinasjon av batch- og strømpipelines for å møte kundenes behov. 

Teknologiske fremskritt innen ETL-prosesser

For flere tiår siden revolusjonerte skyteknologi databehandlingen, og den er fortsatt en viktig del av utviklingen innen programvare og løsninger for datavarehus. I dag handler imidlertid utviklingen innen ETL-teknologi i stor grad om å integrere AI, maskinlæring og automatisering i arbeidsflyter. Noen konkrete fremskritt omfatter:

• AI sin evne til å håndtere store datamengder. Verktøy for kunstig intelligens kan behandle enorme datamengder på sekunder, noe som gir støtte for en skalerbarhet i ETL-prosessene som ikke har eksistert tidligere. 
• Behandling av naturlig språk. Maskinlæring og behandling av naturlig språk gjør det mulig for automatiserte løsninger å tilnærme seg datatransformasjon med et mer omfattende sett av ferdigheter innen «kritisk tenkning» enn det som tidligere var mulig. Dette skaper muligheter for å automatisere oppgaver som historisk har krevd menneskelig inngripen. 
• Støtte for datastyring. Nesten alle bransjer forholder seg i dag til strengere regulatoriske krav, og teknologiske løsninger bidrar i økende grad til å støtte samsvar og datasikkerhet. 

Beste praksis for optimalisering av ETL-arbeidsflyter

Det som fungerer best for en annen organisasjon, er kanskje ikke beste praksis for virksomheten din når det gjelder ETL. Jeg har imidlertid samlet noen generelle anbefalinger du kan implementere for å optimalisere ETL-arbeidsflyter i nesten alle miljøer. 

• Velg de riktige verktøyene for behovene dine. Undersøk verktøy for ETL-arbeidsflyter og -prosesser for å finne partnere og løsninger som dekker dine unike databehov. Vurder å sette sammen et team som kartlegger ønskede ETL-arbeidsflyter, lister opp utfordringene du står overfor og evaluerer mulige løsninger i lys av disse faktorene. 
• Sørg for at valgene av arbeidsflyt er riktige. Ta deg tid til å forstå forskjellen mellom ETL og ELT og om du trenger batch- eller strømbaserte arbeidsflyter. 
• Overvåk prosessene regelmessig. Bruk verktøy som SQL Server Performance Monitor – eller andre relevante ytelsesovervåkingsverktøy – for å forstå hvordan ETL-arbeidsflytene dine fungerer. Følg med på effektivitets- og kvalitetsmålinger, og gjør justeringer etter behov for kontinuerlig forbedring.  
• Integrer teknologi som støtter kvalitet og skalering. Vurder alternativer som parallell databehandling og datakomprimering for å optimalisere arbeidsflytene dine. 

Viktige punkter

Utformingen av ETL-arbeidsflytene dine kan avgjøre om dataprosessene dine lykkes eller mislykkes. Ta deg tid til å vurdere konsekvensene av beslutninger om arbeidsflyter, kartlegg ideelle arbeidsflyter og velg de riktige verktøyene for å støtte uttrekking, transformasjon og lasting av data.

Hold deg oppdatert på teknologi og beste praksis for data ved å abonnere på CTO Club-nyhetsbrevet.