ETL-arbejdsgange: Designguide & bedste praksis

I gennemsnit håndterer organisationer regelmæssigt 400 datakilder. Med bogstaveligt talt hundredvis af datasæt at håndtere kan dataintegration og nøjagtig dataanalyse være umulig uden de rette arbejdsgange.

I denne guide introducerer jeg dig til ETL-arbejdsgange og giver tips til opbygning af ETL-datapipelines, der understøtter forbedret funktionalitet og datakvalitet.

Hvad er ETL-arbejdsgange?

Vores ultimative guide til ETL forklarer detaljerne i ETL-processen, herunder processerne ekstraktion, transformation og indlæsning. For at opnå optimal funktionalitet skal disse processer arbejde sammen, så information flyder effektivt fra datakilden til datalageret.

ETL-arbejdsgange er ansvarlige for denne overordnede proces. De involverer typisk forskellige API-værktøjer, forbindelser og databehandlingstrin for at sikre, at ekstraktions-, transformations- og indlæsningsprocessen fungerer godt og understøtter organisationens behov.

Fordele ved ETL-arbejdsgange

Nogle af fordelene ved stærke ETL-arbejdsgange omfatter:

• Forbedret dataadgang. Med de rette ETL-processer kan du understøtte dataadgang i realtid for medarbejdere. Ekstraktions-, transformations- og indlæsningsprocessen sikrer, at data er klar til brug, når den er placeret i datalageret, hvilket gør det lettere at køre SQL-rapporter, datamodeller og andre forespørgsler.
• Mulighed for at håndtere store datamængder. Avancerede ETL-processer kan håndtere store datasæt og integrere ustrukturerede data uden tidskrævende manuelle processer. Det gør det lettere for organisationer at administrere og drage fordel af store datamængder.
• Bedre datatransformationsprocesser. Den rette ETL-arbejdsgang integrerer elementer som datarensning og transformation for at forbedre konverteringen af rådata til strukturerede datasæt, du kan bruge.
• Understøttelse af effektivitet via automatisering. Import af kildedata, kørsel af valideringsprocesser og andre opgaver kan håndteres af ETL-værktøjer, der understøtter automatisering og reducerer den tid, det tager at administrere data.
• Mulighed for at anvende forretningsregler i datastyringsprocesser. Du kan tilpasse ETL-løsninger til at imødekomme forskellige organisatoriske behov, herunder integrere forretningsregler og regler for overholdelse i ekstraktions-, transformations- og indlæsningsarbejdsgangen.

ETL-proces – oversigt

Før vi gennemgår de vigtigste komponenter i ETL-arbejdsgange og ser på, hvordan man modellerer dem, skal vi først undersøge, hvordan disse processer fungerer, herunder målene og udfordringerne ved hvert trin.

Ekstraktion

Under ekstraktionsdelen af ETL indsamles information fra en eller flere datakilder. Dataekstraktion kan omfatte både rådata og tidligere behandlede data, og du kan arbejde med forskellige filtyper, herunder CSV og XML.

• Mål: At indsamle de mest helhedsorienterede og omfattende data, der er mulige.
• Udfordringer: Identifikation af datasøer og kilder, opnåelse af passende adgang til data samt planlægning af dataindsamlingen for at sikre opdaterede processer.

Transformation

Datatransformationsprocessen indebærer konvertering af data til formater, der fungerer sammen med de relationelle databaser og andre metoder til datalagring og -analyse, du ønsker at bruge. Under dette trin i ETL kan du overveje værktøjer til at udføre datakortlægning og -rensning, fjerne dubletter, formatere, tilføje metadata og udføre andre opgaver – både via automatisering og manuelle arbejdsgange.

• Mål: Rene, anvendelige data, der er formateret til at fungere i dit målsystem eller datalager.
• Udfordringer: Datakvalitet er en almindelig udfordring, organisationer står over for, når de transformerer data; jo lavere kvaliteten er, desto mere datatransformationsarbejde kræves der. Andre udfordringer omfatter potentielt datatab, integration af flere datatyper og sikring af sikkerheden gennem hele processen.

Indlæsning

I det afsluttende trin i ETL-processerne indlæser du data i det endelige datalager, så de er tilgængelige for organisationen efter behov.

• Mål: At sikre, at sikre og rene data er klar til brug i analyser eller i CRM-systemer eller anden virksomhedssoftware.
• Udfordringer: Sikring af datakvalitet og -sikkerhed er også udfordringer i dette trin, og organisationer skal oprette datastyringsprocesser for at definere, hvem der kan få adgang til data, og hvordan de gør det. Det kan også være vigtigt at understøtte dataadgang i realtid – eller så tæt på realtid som muligt – men batchbehandling kan medføre tidsforsinkelser i processen.

Nøglekomponenter i ETL-arbejdsgange

Det første trin i opbygningen af ETL-arbejdsgange er at overveje de nøglekomponenter, der bør inkluderes. Anvendelsesområderne for disse arbejdsgange varierer, og du kan få brug for at tage højde for unikke data- og procesafhængigheder i din organisation.

Nogle komponenter, som dataingeniører almindeligvis overvejer til ETL-arbejdsgange, omfatter dog:

• Datakilder. Hvor kommer dataene fra? Det kan omfatte importerede filer, e-mails, eksterne API'er og interne databaser.
• Kvalitetssikringskontroller. Automatiserede og manuelle kvalitetssikringsprocesser kan være nødvendige på forskellige trin i ETL-arbejdsgangen for at sikre, at dataene opfylder kvalitetsstandarderne eller stemmer overens med kravene til det endelige datalager.
• Datatransformationsprocesser. Dubletfjernelse, formatering og andre opgaver – ofte automatiserede – bidrager til at forbedre kvaliteten.
• Integrations-forbindelser. API'er og andre tekniske løsninger forbinder forskellige dele af processen, så dataene kan flyde problemfrit.
• Datasøer eller datalagre. ETL-processer håndterer typisk store datamængder, og du har brug for et sted at gemme det endelige resultat. Cloud computing-ressourcer er almindelige.
• Datapipelines. Datapipelinen er den samlede infrastruktur, der gør det muligt for data at flyde fra kilderne gennem transformationen til den endelige placering, hvor de indlæses.
• Software og tekniske løsninger. Du kan integrere en række teknologiske ressourcer for at understøtte arbejdsgangen og de forskellige opgaver i den.

Modellering af ETL-arbejdsgange

Når du modellerer dine ETL-pipelines, skal du overveje, om du vil behandle dataene som batches eller som en strøm.

Opbygning af en ETL-pipeline med batchbehandling

Ved batchbehandling håndterer arbejdsgangen data i batches eller portioner. Hver batch er typisk fastlagt ud fra tid – du kan f.eks. køre batches dagligt, periodisk i løbet af dagen eller i begyndelsen af hver time.

Batchbehandling er en god løsning, når:

• Du vil drage fordel af stordriftsfordele
• Du har automatisering på plads, der hurtigt kan håndtere store datamængder
• Adgang til og behandling af data ikke er meget tidskritisk

Opbygning af en ETL-pipeline med streambehandling

Streambehandling gør det muligt for data at flyde gennem ETL i realtid, uden at der opbygges batches af data på noget trin i processen. Det er mere fleksibelt end batchbehandling, men det kan være vanskeligere at sikre datakvalitet og -konsistens med denne type pipeline.

Streambehandling er en god løsning, når:

• Data kommer ind i din proces i små portioner og med uregelmæssige intervaller
• Adgangen til data er tidskritisk, så det er afgørende at få dataene ind i processen med det samme
• Du vil have adgang til aktuelle indsigter uden at vente på, at batchdata behandles

Eksempler på ETL-arbejdsgange

Det er afgørende for en vellykket planlægning af ETL-arbejdsgange at forstå din branches specifikke dataflow og behov for datahåndtering. Overvej disse eksempler fra forskellige brancher for at forstå, hvordan krav og afhængigheder kan variere.

ETL til sundhedssektorens dataflows

Sundhedsorganisationer har brug for nøjagtig og rettidig adgang til patient- og behandlingsdata, hvilket gør ETL-processer afgørende for succes. Data kan komme fra en række forskellige kilder, herunder patientportaler, elektroniske patientjournaler, billeddiagnostisk udstyr og tredjepartsleverandører såsom medicinalvirksomheder.

En af de største udfordringer ved ETL i sundhedssektoren er at skabe sikre processer, der overholder regler såsom HIPAA. Disse processer afhænger også af datakilder, der forsynes af patienter, behandlere og automatisering, hvilket skaber yderligere udfordringer i datatransformationsprocessen.

Når du modellerer datapipelines til sundhedssektoren, kan det være nødvendigt at bruge både stream- og batchbehandling. Behandlere kan f.eks. have brug for adgang til diagnostiske data i realtid, mens kodnings- og faktureringsdata kan behandles som en batch i slutningen af dagen til brug for erstatningskrav.

ETL til e-handelsdatastrømme

E-handelsdata kommer fra mange kilder, herunder e-mails, kundeportaler, API'er og apps, sociale medier, websteder, CRM-systemer samt regnskabs- eller betalingsprocesser. Det skaber en enorm udfordring med at transformere data uden at forringe dem.

Batchbehandling fungerer typisk godt til mange e-handelsprocesser. Du kan for eksempel hente ordredata hver time og føre dem ind i ETL-processer, der understøtter lager- og forsendelsesopgaver. Du kan også hente betalingsdata dagligt, så de økonomiske poster opdateres. 

Hvis du derimod ønsker at understøtte selvbetjening for kunder døgnet rundt, kan strømbaserede arbejdsgange være mere passende. Forestil dig for eksempel, at du har en chatbot, der giver kunder oplysninger om ordrer, betalinger, returneringer og kreditter. Hvis dine ETL-processer kører i daglige batches, er de oplysninger, din chatbot giver, altid mindst 24 timer forældede. 

ETL til finansielle datastrømme

Banker, kreditkortselskaber, apps til økonomistyring samt andre organisationer og tjenester i finanssektoren er stærkt afhængige af nøjagtige data. Disse organisationer skal også håndtere omfattende reguleringer og standarder for overholdelse af reglerne for at holde data sikre.

Datakilder kan omfatte importerede data fra andre finansielle organisationer, ACH- og clearingdata, oplysninger fra kundeorienterede apps samt mindre strukturerede formater som e-mails. Finansielle organisationer ønsker muligvis også at bruge en kombination af batch- og strømpipelines for at imødekomme kundernes behov. 

Teknologiske fremskridt inden for ETL-processer

For flere årtier siden revolutionerede cloudteknologi databehandlingen, og den er stadig en vigtig del af fremskridtene inden for software og løsninger til datalagre. I øjeblikket fokuserer tendenser inden for teknologiske fremskridt i ETL dog typisk på at integrere AI, maskinlæring og automatisering i arbejdsgange. Nogle specifikke fremskridt omfatter:

• AI's evne til at håndtere store datamængder. Værktøjer til kunstig intelligens kan behandle enorme datamængder på få sekunder, hvilket muliggør en skalerbarhed i ETL-processer, som ikke tidligere har eksisteret. 
• Behandling af naturligt sprog. Maskinlæring og behandling af naturligt sprog gør det muligt for automatiserede løsninger at håndtere datatransformation med et mere omfattende sæt færdigheder inden for "kritisk tænkning", end det tidligere var muligt. Det skaber muligheder for at automatisere opgaver, der historisk set krævede menneskelig indgriben. 
• Understøttelse af datastyring. Næsten alle brancher håndterer i dag skærpede lovgivningsmæssige krav, og teknologiske løsninger bidrager i stigende grad til at understøtte overholdelse af reglerne og datasikkerhed. 

Bedste praksis for optimering af ETL-arbejdsgange

Det, der fungerer bedst for en anden organisation, er ikke nødvendigvis den bedste praksis for din virksomhed, når det gælder ETL. Jeg har dog samlet nogle generelle anbefalinger, som du kan implementere for at optimere ETL-arbejdsgange i næsten ethvert miljø. 

• Vælg de rigtige værktøjer til dine behov. Undersøg værktøjer til ETL-arbejdsgange og -processer for at finde partnere og løsninger, der opfylder dine unikke databehov. Overvej at samle et team, der kan kortlægge de ønskede ETL-arbejdsgange, oprette en liste over de udfordringer, du står over for, og evaluere potentielle løsninger i lyset af disse faktorer. 
• Sørg for, at dine valg af arbejdsgange er korrekte. Brug tid på at forstå forskellen mellem ETL og ELT samt på at vurdere, om du har brug for batch- eller strømbaserede arbejdsgange. 
• Overvåg dine processer regelmæssigt. Brug værktøjer som SQL Server til ydeevneovervågning – eller andre relevante ydeevneovervågningsværktøjer – for at forstå, hvordan dine ETL-arbejdsgange fungerer. Hold øje med målinger for effektivitet og kvalitet, og foretag justeringer efter behov for løbende forbedringer.  
• Integrer teknologi, der understøtter kvalitet og skalering. Overvej muligheder som parallel databehandling og datakomprimering for at optimere dine arbejdsgange. 

Vigtigste pointer

Udformningen af dine ETL-arbejdsgange kan være afgørende for, om dine dataprocesser lykkes eller mislykkes. Brug tid på at overveje konsekvenserne af beslutninger om arbejdsgange, kortlægge de ideelle arbejdsgange og vælge de rigtige værktøjer til at understøtte udtræk, transformation og indlæsning af data.

Hold dig opdateret om teknologi og bedste praksis for data ved at tilmelde dig CTO Clubs nyhedsbrev.