Data-integratie: 5 trends om in de gaten te houden
Data, data en nog meer data: het is tegenwoordig de gemeenschappelijke valuta van vrijwel elk bedrijf en elke bedrijfstak. Maar de waarde van die data hangt grotendeels af van tools voor data-integratie. Zonder deze tools hebben de meeste organisaties moeite om hun data te organiseren, analyseren, op te slaan en te beveiligen.
Hoe goed je ook bent in het verzamelen van data, data heeft weinig waarde tenzij je er betekenis aan kunt geven. Veel van de voordelen van data-integratie draaien dan ook om dat fundamentele doel: de waarde vergroten van alle informatie die tot je beschikking staat.
Dat verklaart ook waarom data-integratie op zichzelf een miljardenindustrie is geworden. Organisaties beheren steeds grotere hoeveelheden data, evenals een steeds grotere diversiteit aan databronnen. Het is cruciaal om dit alles op een begrijpelijke en bruikbare manier samen te brengen, naast andere behoeften.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
-
Nexla
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.9 -
Celigo
Visit Website -
Ketch
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.5
“Data-integratie is de hoeksteen van moderne bedrijven en maakt naadloze samenwerking en besluitvorming tussen uiteenlopende systemen en bronnen mogelijk”, zegt Rohit Maheshwari, medeoprichter van NMG Technologies.
Net als data zelf past ook data-integratie zich voortdurend aan en ontwikkelt deze zich mee met nieuwe mogelijkheden en vereisten.
“Het landschap is opmerkelijk veranderd sinds de begindagen van eenvoudige ETL-processen tot de huidige geavanceerde oplossingen voor realtime-integratie”, zegt Maheshwari.
Met dat in gedachten vroegen we Maheshwari en andere data-experts naar hun visie op de belangrijkste trends op het gebied van data-integratie die zich in 2024 en daarna ontwikkelen. Dit hadden zij te zeggen.
Trend #1: Organisaties consolideren hun data-activiteiten en databeheer
Steeds vaker vind je naast data-integratie ook dataconsolidatie: meer specifiek het vermogen om meerdere databeheerpraktijken onder te brengen op één platform, zelfs als de data zelf afkomstig is uit een steeds breder scala aan bronnen.
“We zien een beweging richting consolidatie”, zegt Erik Duffield, medeoprichter en CEO van Hakkoda, een dataconsultancy die gespecialiseerd is in de Snowflake-cloud. Het bedrijf van Duffield ondervroeg onlangs 500 dataleiders en besluitvormers bij grote bedrijven in de Verenigde Staten; bijna drie op de vier respondenten (74%) gaf aan plannen te hebben om in 2024 een gecentraliseerde cloud voor hun data-activiteiten te implementeren.
Lucas Wyland, oprichter van het videogameanalysebedrijf Steambase, merkt op dat het samenvoegen van uiteenlopende data-activiteiten op één plek aanvankelijk enige complexiteit met zich meebrengt en doorgaans zorgvuldige planning, migratie en systeemcompatibiliteit vereist, naast andere zaken. Maar de voordelen zijn het vaak waard.
“Dataredundantie is een belangrijke uitdaging voor organisaties”, zegt Wyland. “Daarom stroomlijnen ze hun data-activiteiten door datapijplijnen, ETL-processen en datawarehousing te consolideren. Dat vereenvoudigt het beheer en vermindert redundantie.”
-
Hevo
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.7 -
Adverity
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.5 -
Integrate.io
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.3
Duffield van Hakkoda deelt een voorbeeld van een recente klant, een regionale bank waarvan de data in feite was verdeeld over drie verschillende silo’s. Dat veroorzaakte fragmentatie in de algehele databeheerstrategie van de bank.
“We werkten nauw samen met de klant om de geïsoleerde databronnen te consolideren tot één bron van waarheid. Hierdoor konden zij niet alleen een holistischer beeld van hun data samenstellen, maar ook een sterke, flexibele en schaalbare basis leggen voor toekomstige innovatie, waaronder AI-integratie”, zegt Duffield.
(Onthoud dit even over AI-integratie – we komen er zo op terug.)
Trend #2: Hybridecloud- en multicloudarchitecturen benadrukken de noodzaak van data-integratie
Hoewel meer organisaties hun databeheer en activiteiten consolideren, geldt dat niet voor hun bredere portfolio van infrastructuur en applicaties. In veel organisaties zijn infrastructuur en applicaties steeds meer verdeeld over meerdere omgevingen – wat de behoefte aan robuuste tools en praktijken voor data-integratie onderstreept.
Dit draagt waarschijnlijk ook bij aan de consolidatietrend. Maheshwari merkt op dat het integreren van data die verspreid is over diverse cloudomgevingen zijn eigen uitdagingen kan creëren, waardoor behoefte ontstaat aan “oplossingen voor data-integratie die flexibiliteit, schaalbaarheid en interoperabiliteit bieden”.
Gedistribueerde infrastructuur en applicaties benadrukken volgens Maheshwari ook de groeiende rol van gegevensintegratie in gegevensbeheer en beveiliging. Hij voegt eraan toe dat technologieleiders prioriteit geven aan gegevensprivacy, naleving van regelgeving en risicobeheer.
Trend #3: AI zal (uiteindelijk) alomtegenwoordig worden in gegevensstacks
Ja, AI is al “overal” (eigenlijk niet). Maar wat technologiestacks voor gegevens betreft, staan we nog maar aan het begin.
Uit het onderzoek van Hakoda onder leiders op het gebied van gegevens bleek bijvoorbeeld dat de overgrote meerderheid (85%) van plan is om in 2024 generatieve AI-tools in productie te nemen. Duffield zegt bovendien dat ongeveer de helft van deze bedrijven AI al gebruikt in verschillende vormen van automatisering.
-
Snowflake Data Cloud
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.7 -
Dataiku
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.6 -
Gradient Labs
Visit Website
“Maar we zien geavanceerde toepassingen zoals AI-copiloten, ETL/ELT en schema-afstemming en -integratie veel minder vaak – althans voorlopig,” zegt Duffield.
De nadruk ligt op voorlopig: “IT-organisaties bevinden zich in een geweldige positie om AI in te zetten voor interne processen en zo de manier te veranderen waarop IT wordt ontworpen, gebouwd en ondersteund,” voegt Duffield toe.
Maheshwari verwacht eveneens een toenemende toepassing van AI- en machinelearningalgoritmen in gegevensintegratieprocessen en de automatisering van gegevensbeheertaken zoals het opschonen, transformeren en afstemmen van gegevens.
Het bedrijf van Maheshwari werkte samen met een groot e-commercebedrijf om AI-mogelijkheden in hun gegevensintegratieprocessen te implementeren, met als doel de winkelervaringen van consumenten te verbeteren.
“Door realtime klantinteractiegegevens te integreren met productvoorraad en verkoopgeschiedenis, konden we onze klant gepersonaliseerde productaanbevelingen bieden, waardoor de conversiepercentages aanzienlijk toenamen,” zegt Maheshwari.
Trend #4: Metagegevensgestuurde automatisering zal gegevensbeheer en -integratie ook versnellen en verbeteren
Niet voor alle automatisering is AI nodig – bij lange na niet. Gegevensbeheer- en integratieprocessen bieden mogelijkheden om tijdrovend (en foutgevoelig) handmatig werk te verminderen. Voor organisaties die nog niet klaar zijn om zich volledig op AI te storten, wijst Duffield op metagegevensgestuurde automatisering als een andere belangrijke trend.
“We zien volop mogelijkheden voor metagegevensgestuurde automatisering bij het opnemen, integreren en leveren van hoogwaardige analyseoplossingen,” zegt Duffield.
Robuuste metagegevens kunnen gegevensintegratie voor processen van kleine bedrijven in een vroeg stadium stimuleren en stroomafwaarts voordelen bieden op het gebied van vertrouwen, nauwkeurigheid, herkomst en bruikbaarheid.
“Cloudplatforms die aanzienlijke technische metagegevens bevatten, maken een snelle implementatie en schaalvergroting van gegevenspijplijnen mogelijk en bieden bovendien automatisch inzicht in de herkomst van gegevens – waardoor gegevensgebruikers erop kunnen vertrouwen dat de gegevens nauwkeurig zijn en uit de juiste bron komen,” zegt Duffield.
Wyland van Steambase merkt op dat deze mogelijkheid – robuuste metagegevens en governance – van cruciaal belang zal zijn naarmate meer bedrijven LLM's en andere vormen van AI gaan gebruiken.
“Inzicht in de gegevensstroom is cruciaal,” zegt Wyland.
Hij verwacht hier een overlappende trend: de groei van “rood-oranje-groen”-modellen (RAG) die de herkomst en kwaliteit van gegevens visueel weergeven.
“Ze helpen professionals de gegevensstroom in verschillende systemen te begrijpen en mogelijke knelpunten of problemen te identificeren,” zegt Wyland.
Trend #5: Verticalisering komt naar gegevensintegratie
Gezien de dynamische aard van gegevensintegratie en gegevens zelf ziet Wyland ook aanzienlijke onbenutte mogelijkheden voor oplossingen die zijn afgestemd op branchespecifieke vereisten en toepassingen.
Hoewel er bepaalde basisprincipes voor gegevensbeheer en -integratie kunnen zijn die op vrijwel elke sector van toepassing zijn, sluiten standaardoplossingen mogelijk niet aan bij de nuances – of de fundamentele verschillen – van gegevensintegratie in bijvoorbeeld een productieomgeving en een zorgomgeving. Als gevolg daarvan
“Verticalisering houdt in dat oplossingen voor gegevensinfrastructuur worden afgestemd op of aangepast aan specifieke branches of toepassingen,” zegt Wyland. “Zo kunnen organisaties hun oplossingen beter laten aansluiten op hun bedrijfsbehoeften.”
Om dit effectief te doen, zijn domeinexpertise en de flexibiliteit om zich aan unieke vereisten aan te passen nodig – wat aanzienlijke kansen biedt voor gegevensprofessionals en aanbieders van gegevensintegratie die dit kunnen leveren.
De conclusie
Gegevensintegratie is populair – en daar is een goede reden voor. Het is een cruciale manier om uw gegevens te begrijpen en tastbare waarde te genereren. Anders verzamelt u alleen gegevens omwille van het verzamelen.
Welke van deze trends op het gebied van data-integratie zijn het relevantst voor jouw bedrijf? Abonneer je op de nieuwsbrief van The CTO Club voor meer nieuws en discussies uit de sector!
