Data-integratie: 5 trends om in de gaten te houden
Data, data en nog meer data: het is tegenwoordig de gemeenschappelijke valuta van vrijwel elk bedrijf of elke sector. Maar de waarde van die data hangt sterk af van tools voor data-integratie. Zonder deze tools hebben de meeste organisaties moeite om hun data te organiseren, analyseren, op te slaan en te beveiligen.
Hoe goed je ook bent in het verzamelen van data, data heeft weinig waarde tenzij je er betekenis aan kunt geven. Veel van de voordelen van data-integratie draaien dan ook om dat fundamentele doel: de waarde verhogen van alle informatie die tot je beschikking staat.
Dat verklaart ook waarom data-integratie op zichzelf is uitgegroeid tot een miljardenindustrie. Organisaties beheren steeds grotere hoeveelheden data, evenals steeds diversere bronnen van die data. Het is cruciaal om alles op een manier samen te brengen die de data begrijpelijk en bruikbaar maakt, naast andere vereisten.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
-
Celigo
Visit Website -
Ketch
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.5 -
Cleo Integration Cloud
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.3
“Data-integratie is de hoeksteen van moderne bedrijven en maakt naadloze samenwerking en besluitvorming mogelijk tussen uiteenlopende systemen en bronnen”, zegt Rohit Maheshwari, medeoprichter van NMG Technologies.
Net als data zelf past ook data-integratie zich voortdurend aan en evolueert deze mee met nieuwe mogelijkheden en vereisten.
“Het landschap is opmerkelijk veranderd sinds de beginperiode van eenvoudige ETL-processen tot de geavanceerde oplossingen voor realtime-integratie van vandaag”, zegt Maheshwari.
Met dat in gedachten vroegen we Maheshwari en andere data-experts naar hun visie op de belangrijkste trends op het gebied van data-integratie die zich in 2024 en daarna ontwikkelen. Dit hadden zij te zeggen.
Trend 1: Organisaties consolideren hun data-activiteiten en -beheer
Waar je steeds vaker data-integratie aantreft, vind je ook dataconsolidatie: meer specifiek de mogelijkheid om meerdere praktijken voor databeheer onder te brengen op één platform, zelfs als de data zelf afkomstig is uit een steeds groter scala aan bronnen.
“We zien een beweging richting consolidatie”, zegt Erik Duffield, medeoprichter en CEO van Hakkoda, een adviesbureau voor data dat gespecialiseerd is in de Snowflake-cloud. Het bedrijf van Duffield ondervroeg onlangs 500 dataleiders en besluitvormers bij grote bedrijven in de Verenigde Staten; bijna drie op de vier respondenten (74%) gaf aan van plan te zijn om in 2024 een gecentraliseerde cloud voor hun data-activiteiten te implementeren.
Lucas Wyland, oprichter van het analysebedrijf voor videogames Steambase, merkt op dat het samenvoegen van uiteenlopende data-activiteiten op één plek aanvankelijk enige complexiteit met zich meebrengt en doorgaans een zorgvuldige planning, migratie en systeemcompatibiliteit vereist, naast andere zaken. Maar de voordelen zijn het vaak waard.
“Dataredundantie is een aanzienlijke uitdaging voor organisaties”, zegt Wyland. “Daarom stroomlijnen ze hun data-activiteiten door datapijplijnen, ETL-processen en datawarehousing te consolideren. Dat vereenvoudigt het beheer en vermindert redundantie.”
-
Hevo
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.7 -
Adverity
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.5 -
Integrate.io
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.3
Duffield van Hakkoda deelt een voorbeeld van een recente klant, een regionale bank waarvan de data in feite was opgesplitst in drie verschillende silo's. Dat veroorzaakte fragmentatie in de algehele databeheerstrategie van de bank.
“We werkten nauw samen met de klant om de geïsoleerde databronnen te consolideren tot één bron van waarheid. Hierdoor konden ze niet alleen een vollediger beeld van hun data samenstellen, maar ook een sterke, flexibele en schaalbare basis leggen voor toekomstige innovatie, waaronder AI-integratie”, zegt Duffield.
(Onthoud dit over AI-integratie – we komen er zo op terug.)
Trend 2: Hybridecloud- en multicloudarchitecturen benadrukken de noodzaak van data-integratie
Hoewel steeds meer organisaties hun databeheer en activiteiten consolideren, geldt dat niet voor hun bredere portfolio van infrastructuur en applicaties. In veel organisaties worden infrastructuur en applicaties steeds meer verspreid over meerdere omgevingen – wat de behoefte aan robuuste tools en praktijken voor data-integratie onderstreept.
Dit voedt waarschijnlijk ook de consolidatietrend. Maheshwari merkt op dat het integreren van data die verspreid is over diverse cloudomgevingen eigen uitdagingen kan creëren, waardoor behoefte ontstaat aan “[oplossingen voor data-integratie] die flexibiliteit, schaalbaarheid en interoperabiliteit bieden”.
Volgens Maheshwari benadrukken gedistribueerde infrastructuur en applicaties ook de groeiende rol van data-integratie bij datagovernance en beveiliging. Hij voegt eraan toe dat technologieleiders prioriteit geven aan gegevensprivacy, naleving van regelgeving en risicobeheer.
Trend #3: AI zal (uiteindelijk) alomtegenwoordig worden in datastacks
Ja, AI is al “overal” (niet echt). Maar wat betreft technologiestacks voor data staan we nog maar aan het begin.
Uit het onderzoek van Hakoda onder dataleiders bleek bijvoorbeeld dat de overgrote meerderheid (85%) van plan is om in 2024 generatieve AI-tools in productie te nemen, en Duffield zegt dat ongeveer de helft van deze bedrijven AI al gebruikt in verschillende vormen van automatisering.
-
Dataiku
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.6 -
Gradient Labs
Visit Website -
Trustible
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.5
“Maar we zien geavanceerde toepassingen zoals AI-copiloten, ETL/ELT en het koppelen en integreren van schema’s veel minder vaak – althans voorlopig,” zegt Duffield.
De nadruk ligt op voorlopig: “IT-organisaties bevinden zich in een geweldige positie om AI in te zetten voor interne processen en zo de manier te veranderen waarop IT wordt ontworpen, gebouwd en ondersteund,” voegt Duffield toe.
Maheshwari verwacht eveneens een groeiende toepassing van AI- en machinelearningalgoritmen in dataintegratieprocessen en de automatisering van databeheertaken zoals het opschonen, transformeren en afstemmen van gegevens.
Het bedrijf van Maheshwari werkte samen met een groot e-commercebedrijf om AI-mogelijkheden in hun dataintegratieprocessen te implementeren, met als doel de winkelervaring van consumenten te verbeteren.
“Door realtimegegevens over klantinteracties te integreren met productvoorraad en verkoopgeschiedenis, konden we onze klant gepersonaliseerde productaanbevelingen bieden, waardoor de conversieratio’s aanzienlijk stegen,” zegt Maheshwari.
Trend #4: Metagegevensgestuurde automatisering zal databeheer en dataintegratie ook versnellen en verbeteren
Niet voor alle automatisering is AI nodig – bij lange na niet. Databeheer- en dataintegratieprocessen bieden mogelijkheden om tijdrovend (en foutgevoelig) handmatig werk te verminderen. Voor organisaties die nog niet klaar zijn om zich volledig op AI te storten, wijst Duffield op metagegevensgestuurde automatisering als een andere belangrijke trend.
“We zien volop mogelijkheden voor metagegevensgestuurde automatisering bij het opnemen, integreren en leveren van hoogwaardige analyticsoplossingen,” zegt Duffield.
Robuuste metagegevens kunnen dataintegratie voor processen van kleine bedrijven in een vroeg stadium stimuleren en stroomafwaartse voordelen bieden op het gebied van vertrouwen, nauwkeurigheid, herkomst en bruikbaarheid.
“Cloudplatforms met aanzienlijke technische metagegevens maken een snelle implementatie en schaalvergroting van datapijplijnen mogelijk en bieden bovendien automatisch inzicht in de dataherkomst – waardoor datagebruikers erop kunnen vertrouwen dat de gegevens juist zijn en uit de correcte bron afkomstig zijn,” zegt Duffield.
Wyland van Steambase merkt op dat deze mogelijkheid – robuuste metagegevens en governance – van cruciaal belang zal zijn naarmate meer bedrijven LLM’s en andere vormen van AI invoeren.
“Inzicht in de gegevensstroom is cruciaal,” zegt Wyland.
Hij verwacht hier een overlappende trend: de groei van modellen met “rood-oranje-groen” (RAG) die de dataherkomst en -kwaliteit visueel weergeven.
“Ze helpen professionals de gegevensstroom tussen systemen te begrijpen en mogelijke knelpunten of problemen te identificeren,” zegt Wyland.
Trend #5: Verticalisering zal zijn intrede doen in dataintegratie
Gezien het dynamische karakter van dataintegratie en data zelf ziet Wyland ook aanzienlijke onbenutte mogelijkheden voor oplossingen die zijn afgestemd op branchespecifieke vereisten en toepassingen.
Hoewel er wellicht bepaalde basisprincipes van databeheer en dataintegratie zijn die op vrijwel elke sector van toepassing zijn, leggen standaardoplossingen mogelijk niet de nuances – of de ingrijpende verschillen – vast van dataintegratie in bijvoorbeeld een productieomgeving en een zorgomgeving. Als gevolg daarvan zegt Wyland
“Verticalisering houdt in dat data-infrastructuuroplossingen worden afgestemd op of aangepast aan specifieke branches of toepassingen,” zegt Wyland. “Zo kunnen organisaties hun oplossingen beter laten aansluiten op hun bedrijfsbehoeften.”
Om dit effectief te doen, zijn domeinexpertise en de flexibiliteit om zich aan unieke vereisten aan te passen nodig – wat aanzienlijke kansen biedt voor dataprofessionals en aanbieders van dataintegratie die dit kunnen leveren.
De conclusie
Dataintegratie is populair – en daar is een goede reden voor. Het is een cruciaal middel om uw data te begrijpen en tastbare waarde te genereren. Anders verzamelt u slechts data omwille van het verzamelen.
Welke van deze trends op het gebied van dataintegratie zijn het meest relevant voor uw bedrijf? Abonneer u op de nieuwsbrief van The CTO Club voor meer nieuws en discussies uit de sector!
