Data, data og enda mer data: Det er den vanlige valutaen i så godt som enhver virksomhet eller bransje i dag. Men verdien av disse dataene avhenger i stor grad av verktøy for dataintegrasjon. Uten dette har de fleste organisasjoner problemer med å organisere, analysere, lagre og sikre dataene sine.
Uansett hvor dyktig du er til å samle inn data, har data liten verdi med mindre du kan forstå dem. Faktisk dreier mange av fordelene ved dataintegrasjon seg om dette grunnleggende målet: å øke verdien av all informasjonen du har til rådighet.
Det forklarer også hvorfor dataintegrasjon har blitt en industri verdt flere milliarder dollar i seg selv. Organisasjoner håndterer stadig større datamengder, samt stadig mer mangfoldige datakilder. Det er avgjørende å samle alt på en måte som gjør dataene forståelige og anvendelige, i tillegg til å dekke andre behov.
«Dataintegrasjon er hjørnesteinen i moderne virksomheter og muliggjør sømløst samarbeid og beslutningstaking på tvers av ulike systemer og kilder», sier Rohit Maheshwari, medgrunnlegger av NMG Technologies.
I likhet med selve dataene tilpasser og utvikler dataintegrasjon seg hele tiden etter nye muligheter og krav.
«Landskapet har gjennomgått en bemerkelsesverdig forvandling, fra de første dagene med grunnleggende ETL-prosesser til dagens sofistikerte løsninger for integrasjon i sanntid», sier Maheshwari.
Med dette i tankene ba vi Maheshwari og andre dataeksperter om å vurdere de viktigste trendene innen dataintegrasjon som utspiller seg i 2024 og fremover. Her er det de hadde å si.
Trend nr. 1: Organisasjoner konsoliderer dataoperasjonene og datahåndteringen sin
Stadig oftere finner man datakonsolidering der man finner dataintegrasjon: nærmere bestemt muligheten til å samle flere praksiser for datahåndtering på én plattform, selv om dataene i seg selv kommer fra et stadig bredere utvalg av kilder.
«Vi ser et press for å konsolidere», sier Erik Duffield, medgrunnlegger og administrerende direktør i Hakkoda, et datakonsulentselskap som spesialiserer seg på Snowflake-skyen. Duffields firma gjennomførte nylig en undersøkelse blant 500 dataansvarlige og beslutningstakere i store, USA-baserte selskaper. Nesten tre av fire respondenter (74 %) oppga at de planlegger å innføre en sentralisert sky for dataoperasjonene sine i 2024.
Lucas Wyland, grunnlegger av analyseselskapet for videospill Steambase, påpeker at det å slå sammen ulike dataoperasjoner på ett sted innebærer en viss innledende kompleksitet og vanligvis krever grundig planlegging, migrering og systemkompatibilitet, blant annet. Men fordelene er ofte verdt det.
«Dataredundans er en betydelig utfordring for organisasjoner», sier Wyland. «Derfor effektiviserer de data operasjonene ved å konsolidere datapipelines, ETL-prosesser og datavarehus. Det forenkler håndteringen og reduserer redundans.»
Duffield fra Hakkoda deler et eksempel fra en nylig kunde, en regional bank hvis data i praksis var delt opp i tre ulike siloer. Dette førte til fragmentering i bankens overordnede strategi for datahåndtering.
«Vi samarbeidet tett med kunden for å konsolidere de silobaserte datakildene til én sannhetskilde. Dette gjorde det mulig for dem ikke bare å sette sammen et mer helhetlig bilde av dataene sine, men også å legge et solid, fleksibelt og skalerbart grunnlag for fremtidig innovasjon, inkludert AI-integrasjon», sier Duffield.
(Husk dette om AI-integrasjon – vi kommer tilbake til det om et øyeblikk.)
Have an account? Log In
Trend nr. 2: Hybrid- og multiskyarkitekturer understreker behovet for dataintegrasjon
Selv om flere organisasjoner konsoliderer datahåndteringen og dataoperasjonene sine, kan det samme ikke sies om den bredere porteføljen av infrastruktur og applikasjoner. I mange organisasjoner er infrastruktur og applikasjoner i stadig større grad distribuert på tvers av flere miljøer – noe som understreker behovet for robuste verktøy og praksiser for dataintegrasjon.
Dette bidrar sannsynligvis også til konsolideringstrenden. Maheshwari påpeker at integrering av data som er spredt på tvers av ulike skymiljøer, kan skape egne utfordringer og utløse et behov for «[dataintegrasjons]løsninger som tilbyr fleksibilitet, skalerbarhet og interoperabilitet».
Distribuert infrastruktur og distribuerte applikasjoner fremhever også dataintegrasjonens økende rolle innen datastyring og sikkerhet, ifølge Maheshwari, som legger til at teknologiledere prioriterer personvern, overholdelse av regelverk og risikostyring.
Trend nr. 3: KI vil (etter hvert) bli allestedsnærværende i datastakker
Ja, KI er allerede «overalt» (egentlig ikke). Men når det gjelder datateknologistakker, har vi bare begynt å skrape i overflaten.
Hakodas undersøkelse blant dataansvarlige fant for eksempel at det store flertallet (85 %) planlegger å sette verktøy for generativ KI i produksjon i 2024, og Duffield sier at omtrent halvparten av disse virksomhetene allerede bruker KI i ulike former for automatisering.
«Men vi ser langt sjeldnere avanserte bruksområder som KI-kopiloter, ETL/ELT og skjemasamsvar og integrasjon – i hvert fall foreløpig», sier Duffield.
Vektlegging på foreløpig: «IT-organisasjoner er i en fantastisk posisjon til å utnytte KI i interne prosesser for å endre måten IT utformes, bygges og støttes på», legger Duffield til.
Maheshwari forventer på samme måte økt bruk av KI- og maskinlæringsalgoritmer i dataintegrasjonsprosesser og automatisering av dataadministrasjonsoppgaver som datarensing, transformasjon og avstemming.
Maheshwaris selskap samarbeidet med en stor netthandelsvirksomhet om å ta i bruk KI-funksjoner i dataintegrasjonsprosessene deres, med mål om å forbedre handleopplevelsen for kundene.
«Ved å integrere sanntidsdata om kundeinteraksjoner med produktlager og salgshistorikk gjorde vi det mulig for kunden vår å levere personaliserte produktanbefalinger, noe som økte konverteringsratene betydelig», sier Maheshwari.
Trend nr. 4: Metadatadrevet automatisering vil også fremskynde og forbedre dataadministrasjon og integrasjon
All automatisering trenger ikke KI – langt ifra. Dataadministrasjons- og integrasjonsprosesser gir muligheter til å redusere tidkrevende (og feilutsatt) manuelt arbeid. For organisasjoner som ikke helt er klare til å satse fullt og helt på KI, peker Duffield på metadatadrevet automatisering som en annen viktig trend.
«Vi ser mange muligheter for metadatadrevet automatisering ved innhenting, integrering og levering av verdifulle analyseløsninger», sier Duffield.
Robuste metadata kan sette fart på dataintegrasjon for småbedriftsprosesser på et tidlig stadium og gi fordeler senere i prosessen når det gjelder tillit, nøyaktighet, proveniens og brukervennlighet.
«Skyplattformer som inneholder betydelige mengder tekniske metadata, gjør det mulig å distribuere og skalere datapipelines raskt, samtidig som de automatisk gir innsikt i dataproveniens – noe som gir databrukere tillit til at dataene er nøyaktige og kommer fra riktig kilde», sier Duffield.
Wyland fra Steambase påpeker at denne funksjonaliteten – robuste metadata og styring – vil være avgjørende etter hvert som flere selskaper tar i bruk LLM-er og andre former for KI.
«Det er avgjørende å forstå dataflyten», sier Wyland.
Han forventer en overlappende trend her: fremveksten av «rød-gul-grønn»-modeller (RAG) som visuelt representerer dataproveniens og datakvalitet.
«De hjelper fagfolk med å forstå dataflyten på tvers av systemer og identifisere potensielle flaskehalser eller problemer», sier Wyland.
More Articles
Trend nr. 5: Vertikalisering kommer til dataintegrasjon
På grunn av dataintegrasjonens og selve dataenes dynamiske natur ser Wyland også betydelige uutnyttede muligheter for løsninger som er tilpasset bransjespesifikke krav og bruksområder.
Selv om det finnes grunnleggende prinsipper for dataadministrasjon og integrasjon som gjelder for nesten alle sektorer, fanger ikke standardiserte løsninger nødvendigvis opp nyansene – eller de omfattende forskjellene – mellom dataintegrasjon i for eksempel en produksjonsvirksomhet og i helsesektoren. Som følge av dette sier Wyland
«Vertikalisering innebærer å tilpasse [eller] skreddersy datainfrastrukturløsninger til bestemte bransjer eller bruksområder», sier Wyland. «Det gjør det mulig for organisasjoner å oppnå bedre samsvar med virksomhetens behov.»
Effektiv gjennomføring av dette krever domenekompetanse og fleksibilitet til å tilpasse seg unike krav – noe som betyr betydelige muligheter for datafagfolk og leverandører av dataintegrasjon som kan levere.
Konklusjonen
Dataintegrasjon er i vinden – og det med god grunn. Det er et avgjørende middel for å forstå dataene dine og skape konkret verdi. Ellers samler du bare inn data for innsamlingens egen skyld.
Hvilke av disse trendene innen dataintegrasjon er mest relevante for virksomheten din? Bli med på The CTO Clubs nyhetsbrev for flere bransjenyheter og diskusjoner!
