Hvad er ETL-kortlægning, og hvordan fungerer det?

Hvis din virksomhed anvender ETL (udtræk, transformering, indlæsning) til at gøre dine data mere ensartede og anvendelige, er du i godt selskab — 91 % af virksomhedsledere mener, at demokratiseret dataadgang er afgørende for succes. ETL-kortlægning er en vigtig del af processen; den sikrer, at du udtrækker relevante data og gemmer dem på en måde, der er nyttig for alle interessenter.

Heldigvis kan effektive ETL-værktøjer strømline kortlægningsprocessen og gøre den hurtigere og mere præcis.

I denne artikel undersøger vi de finere detaljer ved ETL-kortlægning, navigerer i almindelige udfordringer og udstyrer dig med bedste praksis til en vellykket implementering.

Hvad er ETL-kortlægning?

ETL-kortlægning er processen med at identificere nøgleelementer i dine kildedata og matche dem med de tilsvarende elementer i dit datalager eller din datasø. Det sker typisk under transformationsfasen.

Udført effektivt hjælper kortlægning dig med at integrere forskellige datasæt og transformere dem til et standardiseret format. På den måde bliver oplysningerne lettere at tilgå, bruge og analysere.

Hvorfor er ETL-kortlægning vigtig i datahåndtering?

Virksomhedsdata kommer fra en lang række kilder, herunder API'er, forretningssystemer, flade filer såsom Excel, Oracle-databaser, XML-filer og SQL-servere. Problemet er, at hver af dem anvender sine egne formater, metadata og datastrukturer.

Dit datalager gemmer eksempelvis muligvis kundernes efternavne i et felt kaldet "last name." Det er en almindelig navngivningskonvention, men den er ikke universel. Det samme element kan hedde "name_last" i SAP, "last_name" i Joomla og "surname" i din europæiske afdelings CRM-system. 

ETL-kortlægning definerer relationerne mellem disse forskellige elementer og det tilsvarende element i målsystemet. Den skaber en køreplan fra kildesystemet til destinationen, så oplysningerne kan flyde problemfrit og præcist.

Uden ETL-kortlægning kan små dataforskelle forårsage alle mulige problemer under ETL-processen. Dataene kan gå tabt eller blive beskadiget, når de bevæger sig gennem hver fase. Eller du opdager, at oplysningerne i dit datalager er unøjagtige eller ufuldstændige, hvilket gør hele datasættet ubrugeligt.

Fordele ved effektiv ETL-datakortlægning

Implementering af ETL-kortlægning kræver tid, penge og opbakning i virksomheden. Hvis det lykkes, kan jeres indsats skabe betydelige fordele, der forbedrer driften og understøtter fremtidig vækst.

Bevarer dataintegritet og relevans

Effektiv ETL-kortlægning minimerer fejl, eliminerer dubletter og reducerer risikoen for beskadigelse gennem hele ETL-processen, så dine datas kvalitet og nøjagtighed bevares. Den sikrer også, at dit centrale datalager overholder datastandarder og er i overensstemmelse med forretningskrav — to afgørende faktorer for datadrevne organisationer.

Lad os sige, at dit mål er at levere branchens bedste købsoplevelse. Før du udvikler en strategi, har du brug for adgang til holistiske data om kundeinteraktioner og opfattelser. ETL-kortlægning sikrer, at dit system udtrækker de korrekte data — f.eks. antallet af forladte indkøbskurve eller den gennemsnitlige løsningstid for supportsager. Med pålidelige og nøjagtige kundedata kan virksomhedens ledere følge KPI'er og udarbejde en intelligent handlingsplan.

Forbedrer dataadgangen

Kortlægning af alle virksomhedens datakilder til et centralt datalager sikrer, at alle har adgang til aktuelle data. ETL-kortlægning nedbryder også datasiloer og frigiver tidligere isolerede oplysninger, hvilket gør dit datalager mere komplet og omfattende.

Efterhånden som din virksomhed vokser, er det almindeligt, at afdelinger implementerer forskellige værktøjer. Dit marketingteam bruger måske HubSpot til generering af kundeemner, mens dit salgsteam administrerer sin salgspipeline med Pipedrive. ETL-kortlægning hjælper med at overvinde uoverensstemmelser mellem felter eller formater i disse værktøjer, så alle data samles i et ensartet datasæt.

Bedre dataanalyse

Ved at skabe data af højere kvalitet og muliggøre bredere adgang forbedrer ETL-kortlægning automatisk dataanalysen. Den muliggør en pålidelig og effektiv overførselsproces, som gør data tilgængelige til analyse på kortere tid. Og eftersom datalageret er mere komplet, kan dine forretningsintelligensværktøjer levere relevante og handlingsanvisende indsigter.

Den bedste del? Da moderne ETL-værktøjer automatisk håndterer datakortlægning, effektiviserer de arbejdsgange og eliminerer gentagne analyseopgaver. Der er ikke behov for at grave data frem fra forskellige kilder — alle medarbejdere kan hurtigt generere en nøjagtig rapport. Med andre ord understøtter ETL-kortlægning informeret beslutningstagning på alle niveauer i virksomheden.

3 typer datakortlægning

Der findes to primære typer datakortlægning: manuel og automatiseret. Den løsning, du vælger, afhænger af datakildens karakter, typen af datamigrering og behandlingshyppigheden.

Manuel datakortlægning

Med denne proces forbinder dine udviklere kildedataene med måldatabasen manuelt. De matcher elementer med de korrekte datafelter i dit datalager og opretter en tilpasset forbindelse ved hjælp af grafiske værktøjer eller håndkodede scripts og forespørgsler.

Selvom manuel kortlægning giver dig fuld kontrol, er den også tidskrævende og sårbar over for menneskelige fejl. Den er bedst egnet til meget usædvanlige dataformater eller komplicerede datatransformationer — f.eks. når du har brug for at udtrække data fra et ældre ERP-system, der snart skal udfases.

Automatiseret datakortlægning

Moderne ETL-værktøjer kan håndtere kortlægningsprocessen for dig. Det eneste, du skal gøre, er at forbinde dine forskellige kilder og dit datalager. Softwaren analyserer begge systemer, udtrækker de nødvendige elementer fra kilden og kortlægger dem til de korrekte elementer i destinationen. Nogle programmer kan endda finde relevante datakilder for dig og kortlægge dem i realtid.

Efterhånden som datasæt bliver større og mere komplekse, vælger virksomheder i stigende grad fuldt automatiseret ETL-kortlægning; der er ganske enkelt for meget data til at kortlægge manuelt. Selvom denne løsning kræver, at du giver afkald på en vis mængde kontrol og fleksibilitet, er den også mere tilgængelig for dine ikke-tekniske medarbejdere. De fleste værktøjer har en enkel brugergrænseflade, så dine salgs-, marketing- og HR-teams kan kortlægge nye datakilder uden støtte fra dataingeniører og dataanalytikere.

Hybrid datakortlægning

Hybrid kortlægning, som også kaldes semiautomatiseret kortlægning, kombinerer elementer fra manuelle og automatiserede processer. Du kan f.eks. bruge software til at analysere og kortlægge komplekse datakilder, men bede en ingeniør om manuelt at gennemgå resultaterne før implementering. Eller du kan bruge et ETL-værktøj med en træk-og-slip-grænseflade til at etablere forretningsregler eller opbygge forbindelser til datakilder.

Denne tilgang giver noget af fleksibiliteten fra en manuel proces, samtidig med at den udnytter softwarens hastighed og effektivitet. Den medfører dog stadig risiko for menneskelige fejl — især når dine ikke-tekniske teammedlemmer er involveret. Og når du kombinerer manuelle processer med automatiseret teknologi, gør det typisk dine arbejdsgange, test- og vedligeholdelsesprocedurer mere komplekse.

ETL-kortlægningsproces: Fra kilde til destination

Uanset om du håndterer ETL-kortlægning manuelt eller bruger automatiseret ETL-software, er dette de typiske trin:

1. Analysér kildedata. Undersøg strukturen, skemaet, relationerne mellem databasetabeller, taksonomien og datatyperne. Se efter manglende oplysninger og uoverensstemmelser, som du skal håndtere i transformationsfasen. Bestem til sidst, hvilke elementer du vil udtrække.
2. Kortlæg data til destinationen. Identificér de tilsvarende elementer i måldatalageret. Hvis kilden f.eks. indeholder alfanumeriske medicinske koder, kan du kortlægge dem til et felt med procedurebeskrivelsen.
3. Fastlæg transformationstrinnene. Når kildedataene ikke passer til destinationsformatet, skal du ændre dem. Almindelige transformationer omfatter filtrering, sortering, omstrukturering, rensning eller opdeling. Hvis du importerer købsregistre fra hele verden, kan du konvertere alle transaktionstidspunkter til din lokale tidszone for at sikre ensartethed.
4. Test datakortlægningen. Test din ETL-kortlægning på et eksempeldata­sæt. Gennemgå resultaterne, og hold øje med fejl, uoverensstemmelser og ufuldstændige data. Brug testværktøjer, der kan registrere problemer med afstemning, sporbarhed, logning og kortlægning. Foretag de nødvendige ændringer, og gentag efter behov — det er nemmere at løse fejl under ETL-testfasen end efter implementering.
5. Implementér datakortlægningen. Implementér kortlægningen i stor skala på dine faktiske datakilder.

ETL-kortlægning slutter ikke med den første implementering; det er en løbende proces. Når du får yderligere datakilder, skal du eller din ETL-software justere kortlægnings- og transformationslogikken for at integrere dem.

Med ETL sker kortlægningen, før dataene indlæses i datalageret. Det er ikke tilfældet med ELT (udtræk, indlæsning, transformation), hvilket er vigtigt at bemærke, hvis du stadig overvejer ETL kontra ELT.

Almindelige udfordringer ved ETL-kortlægning

Selvom værktøjer til datakortlægning har effektiviseret processen betydeligt, findes der udfordringer på hvert trin. Mange problemer skyldes den øgede kompleksitet, hastighed og mængde af rådata. Data, der kommer ind fra hundredvis eller endda tusindvis af kilder, kan skabe problemer med alt fra datakvalitet til validering.

Almindelige udfordringer ved ETL-kortlægning omfatter:

• Ufuldstændige eller unøjagtige kildedata
• Begrænsninger i integrationen i ETL-værktøjer 
• Dokumentation, der er utilstrækkelig eller utilgængelig
• Komplekse krav til transformation
• Utilstrækkelige testprocesser
• Skalerbarheden af ETL-værktøjer og -processer
• Tidskrævende ETL-vedligeholdelse

Det bedste tidspunkt at begynde at overveje disse problemer på er, når du udvikler en strategi for ETL-kortlægning. På den måde kan du vælge værktøjer og etablere processer, der tager højde for potentielle udfordringer. Tag for eksempel skalerbarhed — se efter et ETL-værktøj, der kan optimere kortlægning af store datamængder med komprimering, parallelisering af opgaver og partitionering.

Bedste praksis for ETL-kortlægning

Som enhver forretningsproces er ETL-kortlægning fejlbehæftet. Brug disse bedste praksisser til at opbygge en strategi, der er nøjagtig, konsekvent og pålidelig:

• Vælg et ETL-værktøj, der leveres med forbindelser, datamodeller, skabeloner og datatransformationer, som passer til din virksomheds prisbehov, datakilder og forretningskrav.
• Overvej, om et cloudbaseret eller lokalt ETL-værktøj er bedst egnet til din virksomheds fremtidige planer for skalering.
• Tilbyd omfattende ETL-undervisning for at øge effektiviteten og reducere risikoen for fejl.
  Dokumentér din ETL-kortlægningsproces grundigt for at gøre logikjusteringer lettere og sikre bedre overholdelse af lovgivningen.
• Etabler standardprocedurer for integration af nye datakilder og tilpasning til ændringer i eksisterende kilder.
• Test ETL-kortlægningen på så mange datatyper som muligt før udbredt implementering.
• Sørg for, at dine ETL-datapipelines kan håndtere fejl uden at påvirke datalageret negativt.
• Undersøg og afhjælp kortlægningsfejl med det samme for at opretholde kvaliteten af dine data.

Bedste værktøjer

Hvis du planlægger at opbygge en fuldt automatiseret ETL-proces, behøver du ikke købe separate kortlægningsværktøjer; mange af de bedste ETL-værktøjer omfatter indbygget datakortlægning.

Her er nogle løsninger til ETL-kortlægning, du kan overveje:

• Talend -  Hurtig ETL-kortlægning med træk-og-slip-funktion og et omfattende bibliotek med forudbyggede forbindelser til datakilder
• IBM DataStage - Den AI-aktiverede cloudversion tilbyder automatiserede datapipelines og fejldetektering
• Integrate.io - Brugervenligt værktøj med datakortlægning med lav kode, træk-og-slip-funktion og visualiseringer af datapipelines
• Stitch - Kodeløs løsning uden vedligeholdelse, der kortlægger data fra mere end 140 populære datakilder
• SAS Data Management - Fleksibel og skalerbar platform med værktøjer til datakortlægning for både tekniske brugere og brugere med lav kode

Afsluttende tanker

ETL-kortlægning er grundstenen i en vellykket ETL-proces. Ved at tage dig tid til at kortlægge elementerne nøjagtigt kan du opbygge et pålideligt datalager, der understøtter velinformerede beslutninger i hele virksomheden.

Leder du efter flere måder at forbedre din datahåndtering på? Tilmeld dig The CTO Clubs nyhedsbrev for at få vores seneste tips.