De ultieme ETL-gids: definitie, voorbeelden en tips

Deze gids richt zich op ETL-processen versus iPaaS, die ook een rol kunnen spelen in je datastrategie. Ik wil je voorzien van de kennis om je weg te vinden in het ETL-landschap en de beste ETL-tools voor je gegevensintegratietaken te selecteren. Ik deel alles wat je moet weten over traditionele ETL (en meer).

Wat is ETL?

ETL is een proces in drie stappen dat de gegevenskwaliteit, opslag en toegang voor bedrijven en andere organisaties helpt ondersteunen.

Extraheren

De eerste stap van ETL is gegevensextractie. Tijdens deze stap worden onbewerkte gegevens uit meerdere gegevensbronnen geëxporteerd naar een tijdelijke opslagomgeving. Onbewerkte gegevens uit uiteenlopende bronnen zijn doorgaans niet klaar om in de uiteindelijke gegevensopslag te worden geplaatst, omdat ze inconsistent zullen zijn.

Je kunt gegevens uit verschillende bronnen extraheren, afhankelijk van je bedrijfsbehoeften. Veelvoorkomende bronnen zijn e-mail, platte bestanden die door zakenpartners of klanten worden aangeleverd, ERP- of CRM-systemen, onlinewebpagina's en gegevensbanken, SQL-servers en NoSQL-servers.

Transformeren

Voordat gegevens definitief in een datawarehouse worden opgeslagen, moeten ze worden getransformeerd. Gegevenstransformatie zet onbewerkte, rommelige gegevens om in consistente gegevens die gegevensanalyseprocessen kunnen voeden. Enkele stappen in het transformatieproces zijn:

• Het creëren van bruikbare gegevenssets die aansluiten bij de bedrijfsbehoeften
• Het verwijderen van duplicaten om dubbele informatie uit gegevenssets te verwijderen
• Het omzetten van ongestructureerde gegevens naar gestructureerde gegevens door schema's en andere methoden toe te passen
• Het valideren van gegevens om de authenticiteit en nauwkeurigheid te waarborgen
• Het opschonen van gegevens om beschadigde gegevens te verwijderen, ontbrekende velden in gegevenssets aan te pakken en ervoor te zorgen dat gegevens correct zijn opgemaakt
• Het verwijderen van versleutelingen of toevoegen van beveiligingen aan gegevens, afhankelijk van de nalevingsvereisten van het bedrijf
• Het opmaken van gegevens om aan de bedrijfsbehoeften te voldoen, bijvoorbeeld door kolomkoppen toe te voegen of te wijzigen om consistentie te ondersteunen en ervoor te zorgen dat gegevens goed werken met bestaande relationele databases

Get Free Access

Get regular tech leadership wisdom for delivering better software and systems.

Create Free Account

Have an account? Log In

Laden

De laatste stap in de ETL-gegevenspijplijn is het laden van gegevens in het juiste datawarehouse. Je begint met een eerste gegevenslading en werkt deze periodiek bij, zodat het bedrijf in realtime toegang heeft tot actuele informatie.

ETL in de praktijk

ETL-processen zijn nuttig voor uiteenlopende bedrijven, waaronder bedrijven in sectoren zoals gezondheidszorg, financiën, detailhandel, scheepvaart en entertainment.

Netflix gebruikt ETL

Neem Netflix als voorbeeld. De streamingdienst genereert dagelijks enorme hoeveelheden gegevens en gebruikt die gegevens om te begrijpen welk nieuw aanbod winstgevend zou zijn en om persoonlijke aanbevelingen te ondersteunen voor honderden miljoenen gebruikers.

 

Hiervoor moet Netflix gegevensintegratie realiseren van informatie die afkomstig is uit interne processen en extern gebruikersgedrag. Het gebruikt hiervoor ETL-processen, samen met bedrijfseigen platforms die realtimegegevensstromen ondersteunen.

Waarom is ETL belangrijk?

Gegevens zijn tegenwoordig essentieel voor het succes van vrijwel elk bedrijf. Ze voeden machinelearningprocessen die automatisering ondersteunen en helpen bedrijven bij het nemen van intelligente beslissingen over marketing, klantenservice, productontwikkeling en investeringen. ETL-tools en -processen helpen ervoor te zorgen dat nauwkeurige gegevens uit alle gegevensbronnen beschikbaar en toegankelijk zijn ter ondersteuning van andere bedrijfsprocessen.

Enkele manieren waarop ETL belangrijk is voor datagedreven processen zijn:

• Het stelt bedrijven in staat gegevens te consolideren in één opslagplaats voor één bron van waarheid
• Het zorgt ervoor dat gegevens worden gestandaardiseerd ter ondersteuning van je workflows en technische systemen
• Het ondersteunt passende gegevenstoegang via GUI's en andere tools die zijn ontworpen voor niet-technische gebruikers

Achtergrond van ETL

ETL is geen nieuw proces. De concepten gaan terug tot de jaren 70, hoewel gegevensintegratie vóór de opkomst van machine learning en AI een veel handmatiger proces was. In de jaren 80 en 90 begonnen technologieleiders, naarmate de hoeveelheid gegevens, gegevensbronnen en databases toenam, tools te ontwikkelen voor doelgerichte gegevensintegratie. Die vormen de basis van ETL zoals we dat tegenwoordig kennen.

Wellicht was de grootste aanjager van moderne ETL-processen de komst van cloud computing. Organisaties werden plotseling niet langer beperkt door fysieke servers en de hoeveelheid digitale gegevens die ze konden opslaan was onbeperkt. De mogelijkheid om gegevensopslag met oplossingen zoals AWS op of af te schalen, maakte het eenvoudiger om al je gegevens te bewaren. Toch hadden organisaties manieren nodig om die informatie eenvoudig te extraheren, te laden en op te slaan.

ETL versus ELT

De keuze tussen ETL en ELT (extraheren, laden, transformeren) hangt af van de specifieke behoeften van een organisatie, het gegevensvolume en de beschikbare rekenkracht.

ETL is traditioneel populairder in situaties waarin gegevenstransformatie complex is en moet worden uitgevoerd voordat de gegevens het datawarehouse binnenkomen. Deze aanpak maakt het mogelijk om gegevens te schonen en te consolideren voordat ze worden geladen, waardoor deze geschikt is voor systemen waarin gegevenskwaliteit en voorbereiding essentieel zijn.

Aan de andere kant wint ELT aan populariteit, vooral door de opkomst van cloudgebaseerde datawarehouses die aanzienlijke verwerkingskracht bieden. Met ELT kunnen gegevens sneller in het datawarehouse worden geladen en indien nodig in de database zelf worden getransformeerd. Daardoor is deze aanpak geschikter voor het verwerken van grote hoeveelheden gegevens in realtime of vrijwel realtime.

Geen van beide benaderingen is inherent beter; de keuze tussen ETL en ELT hangt af van de specifieke vereisten van de gegevensverwerkingstaken, de architectuur van het gegevenssysteem en de doelstellingen van de organisatie. Een organisatie die bijvoorbeeld te maken heeft met enorme, voortdurend bijgewerkte gegevenssets geeft mogelijk de voorkeur aan ELT vanwege de efficiëntie en schaalbaarheid. Een bedrijf dat daarentegen prioriteit geeft aan gegevensintegriteit en verwerking vóór het laden, kiest mogelijk voor ETL.

Innovaties op dit gebied gaan door, en een voorbeeld daarvan is het werk binnen het ELT-domein. ELT is een andere verwerkingsoptie voor gegevens waarbij de volgorde van de taken verandert. In dit proces extraheer je gegevens, laad je gegevens en transformeer je vervolgens gegevens.

ELT biedt voordelen, zoals het vullen van datameren met ongestructureerde gegevens of het onmiddellijk laden van alle gegevens en deze later via transformatieprocessen te ordenen.

Hoe ETL werkt (en voorbeelden)

Om de functies van ETL beter te begrijpen, bekijken we een praktijksituatie. Stel je een grootschalige bloemenorganisatie voor met winkels in verschillende steden, die klanten ook de mogelijkheid biedt om online te bestellen voor levering aan huis of op kantoor. Je hebt waarschijnlijk al ideeën over de soorten gegevens die deze organisatie moet beheren, waaronder voorraden van bloemen en benodigdheden en bestellingen, klantgegevens, bezorgadressen en -instructies, betalingsprocessen en de bestellingen zelf.

Laten we voor dit voorbeeld het bestelproces en de gegevens die het genereert bekijken. Bestelgegevens kunnen afkomstig zijn van:

• Een mobiele app, die een API gebruikt om te integreren met het belangrijkste CRM-systeem van het bedrijf
• De website, met een digitale winkel en winkelmandje
• Handmatige invoer door medewerkers in fysieke winkels

Uiteraard worden die gegevens doorgaans gecombineerd met informatie over voorraad en orderafhandeling, gegevens over betalingsverwerking en informatie over verzending of bezorging. Met de juiste ETL-pijplijnen kunnen al deze gegevens worden gecombineerd in een gegevensopslagplaats ter ondersteuning van toekomstige taken, zoals:

• Een bestaande klant de mogelijkheid bieden om in de toekomst snel dezelfde bestelling opnieuw te plaatsen
• Klantenservicewerkzaamheden, zoals het opzoeken van eerdere facturen voor klanten met vragen over hun facturering
• Gegevensanalyse ter ondersteuning van verkoop en marketing, zoals het beoordelen van eerdere bestsellers om beslissingen te nemen over wat dit jaar op een website moet worden aangeboden voor Moederdag

Voordelen van ETL

Het gebruik van ETL om gegevens uit bronsystemen te verzamelen en in het juiste doelsysteem te laden, biedt verschillende zakelijke voordelen.

Kostenbesparingen	Met de stap voor gegevenstransformatie kunt u onnodige, onjuiste of dubbele gegevens verwijderen, zodat u niet betaalt voor de opslag van gegevens die u niet nodig hebt. Wanneer schone gegevens correct worden opgeslagen en beter toegankelijk zijn voor workflows, kunstmatige intelligentie en medewerkers, verkort u ook de duur van veel processen, wat de arbeidskosten positief beïnvloedt.
Verhoogde productie	Betere toegang tot brongegevens helpt eindgebruikers hun werk beter te doen, wat leidt tot een hogere medewerkerstevredenheid, snellere verwerkingstijden en een hogere productie.
Verbeterde communicatie	Wanneer grote gegevenssets snel en consistent worden verzameld, getransformeerd en geladen, ondersteunt dit betere communicatie. Wanneer bijvoorbeeld realtimegegevens beschikbaar zijn voor medewerkers van de klantenservice, kunnen zij gemakkelijk details verstrekken als antwoord op vragen van klanten.
Betere besluitvorming	De hoeveelheden gegevens die door sterke ETL-processen worden ondersteund, leveren bedrijfsinformatie op die over het algemeen leidt tot betere besluitvorming binnen alle afdelingen.

Uitdagingen van ETL

De meest voorkomende uitdaging bij ETL heeft waarschijnlijk te maken met de gegevenskwaliteit. Wanneer u gegevens uit meerdere bronnen extraheert — vooral wanneer u bronnen toestaat die door klanten worden gegenereerd — kunt u de integriteit ervan niet automatisch garanderen. Ontbrekende informatie, inconsistente informatie en verouderde gegevens zijn enkele problemen waarmee u in de ETL-pijplijn te maken krijgt.

Andere veelvoorkomende uitdagingen bij ETL zijn:

• De beveiliging van gegevens gedurende het hele proces waarborgen, omdat u potentiële kwetsbaarheden creëert wanneer u gegevens verplaatst en opslaat
• Doorlopende gegevensprestaties ondersteunen, zoals de efficiëntie van ETL-processen en voortdurende toegang tot gegevens zodra deze zich in de doeldatabase bevinden
• Gegevens integreren met bestaande databases, API-hulpmiddelen en andere platforms, zodat deze kunnen worden gebruikt ter ondersteuning van bedrijfsprocessen
• Ervoor zorgen dat gegevens op de juiste manier worden beheerd volgens nalevingsprotocollen in elke fase van het proces

Aan de slag met ETL-hulpmiddelen

Organisaties die nog geen ETL-processen gebruiken, kunnen aan de slag gaan door meer te leren over ETL en ervoor te zorgen dat ze over de basis voor extractie, transformatie en laden beschikken. U kunt overwegen interne technische ondersteuning met ETL-ervaring in te huren of samen te werken met leveranciers die ETL-ondersteuning als dienst kunnen bieden.

Zorg vervolgens dat u de juiste hulpmiddelen beschikbaar hebt en neem de tijd om gegevensextractie uit verschillende bronnen te oefenen. Voordat u uw ETL-processen in productie implementeert, test u elke stap en lost u eventuele problemen op, vooral bij de taken voor gegevenstransformatie.

Wanneer u klaar bent, kunt u een ETL-pijplijn opbouwen door:

• Uw referentiegegevensset te maken, zodat u weet wat het resultaat van de gegevenstransformatie moet zijn
• Uw bronnen te verbinden via extractiehulpmiddelen zoals API's
• Werkstromen te bouwen om de gegevens te valideren en te transformeren
• Meer hulpmiddelen in te stellen om de gegevens automatisch in de doeldatabases te laden zodra de transformatie is voltooid

ETL-hulpmiddelen om u op weg te helpen

Onderzoek en test hulpmiddelen altijd voordat u ze in uw processen integreert. U kunt uw zoektocht naar goede ETL-hulpmiddelen beginnen door enkele van deze opties te overwegen:

• Informatica PowerCenter – Met deze tool kunt u verschillende gegevenspijplijnen bouwen en implementeren. De tool biedt ook opties zonder code voor snelle integratie door verschillende teams. U kunt met deze optie bovendien gebruikmaken van talrijke datameren en datawarehouses, waaronder die van Google Cloud, AWS en Azure.
• IBM Infosphere Datastage – Deze tool werkt binnen het ecosysteem van IBM en biedt voordelen zoals snelheid en toegang tot AI-toepassingen.
• Oracle Data Integrator – Met deze optie kunt u complexe datameren en datawarehouses bouwen en ondersteunen. De optie wordt geleverd met een grafische interface die gebruik door niet-technische zakelijke gebruikers ondersteunt.
• AWS Data Pipeline – Dit is een beheerde dienst waarmee u gebruik kunt maken van de voordelen op het gebied van gegevensbeheer die Amazon Web Services biedt.

More Articles

• Bruikbaarheids- en gebruikerservaringbeoordelingen als onderdeel van kwaliteitsborging
• API-eindpunten testen
• Hoe low-code uitdagingen voor enterprisearchitecten oplost

Beste werkwijzen voor ETL

Het beste wat u voor nieuwe ETL-processen kunt doen, is deze lanceren met een goed doordacht en getest plan. U kunt ook enkele van de onderstaande beste werkwijzen volgen om de voordelen van ETL voor uw organisatie te maximaliseren:

• Ondersteun een betere datakwaliteit door validaties in elke stap van het proces te integreren. Dat omvat indien mogelijk ook de oorspronkelijke taak voor gegevensinvoer. Als je bijvoorbeeld wilt dat mensen een datum invoeren, laat ze die dan selecteren via een kalender-API die ervoor zorgt dat de gegevens consistent worden opgemaakt, in plaats van dat gebruikers de informatie handmatig invoeren.
• Werk met betrouwbare leveranciers en oplossingen bij het bouwen van connectoren en andere onderdelen van je ETL-pijplijn. Vraag leveranciers altijd hoe ze gegevens beveiligen, zodat je er zeker van kunt zijn dat je digitale bedrijfsmiddelen goed beschermd zijn.
• Verbeter de prestaties van je ETL-tools door slimme technische beslissingen te nemen, van het verzamelen van gegevens tot het laden ervan. Optimaliseer je ETL-pijplijn met keuzes zoals het implementeren van cachingtechnieken of het gebruik van incrementeel laden.
• Implementeer metagegevenshulpmiddelen en andere processen voor gegevensbeheer, zodat je de gegevens optimaal kunt monitoren en in de toekomst nauwkeurige toegang en controle kunt waarborgen over wie toegang heeft tot welke gegevens.

Meer bronnen voor verdere verdieping

Overweeg de onderstaande geselecteerde bronnen om meer te leren over ETL en aanverwante onderwerpen:

• Hevo biedt een lijst met opensourcetools voor ETL om je te helpen bij het bouwen van je ETL-framework
• Bekijk deze lijst met de beste ETL-tools
• Een overzicht van de beste datawarehousehulpmiddelen
• Dremio heeft een uitgebreide gids over soorten ETL
• Coursera biedt een aantal gratis ETL-cursussen en certificaten
• Vind mogelijkheden voor ETL-onderwijs via Udemy

Belangrijkste punten

Nu gegevens letterlijk elke minuut in omvang toenemen, kunnen CTO's en andere bedrijfs- en technische leiders het zich niet veroorloven de voordelen van ETL te negeren. Als je deze processen niet benut om efficiëntie, het verzamelen van nauwkeurige gegevens en opslag te ondersteunen, neem dan de tijd om meer te leren en ETL te presenteren als een belangrijke investering voor je organisatie.

Blijf op de hoogte van best practices, nieuws uit de sector en andere inzichten door je vandaag te abonneren op de nieuwsbrief van CTO Club.