Dataintegrationens stora avslöjande: 5 trender att hålla koll på
Data, data och ännu mer data: Det är den gemensamma valutan för i princip alla företag och branscher idag. Men värdet av dessa data beror i hög grad på verktyg för dataintegration. Utan dem har de flesta organisationer svårt att organisera, analysera, lagra och skydda sina data.
Oavsett hur bra du är på att samla in data har data ett begränsat värde om du inte kan förstå dem. Faktum är att många av fördelarna med dataintegration kretsar kring just detta grundläggande mål: att öka värdet av all information du har tillgång till.
Det förklarar också varför dataintegration har blivit en mångmiljardindustri i sig. Organisationer hanterar allt större datamängder samt allt mer varierande datakällor. Att sammanföra allt på ett sätt som gör informationen begriplig och användbar, bland andra behov, är avgörande.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
-
Nexla
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.9 -
Celigo
Visit Website -
Ketch
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.5
”Dataintegration är hörnstenen i moderna företag och möjliggör sömlöst samarbete och beslutsfattande över olika system och källor”, säger Rohit Maheshwari, medgrundare av NMG Technologies.
Precis som data i sig anpassar och utvecklar sig dataintegration ständigt efter nya möjligheter och krav.
”Landskapet har genomgått en anmärkningsvärd förändring från de tidiga dagarna med grundläggande ETL-processer till dagens avancerade lösningar för integration i realtid”, säger Maheshwari.
Med det i åtanke bad vi Maheshwari och andra dataexperter att uttala sig om de viktigaste trenderna inom dataintegration som utvecklas under 2024 och framåt. Här är vad de hade att säga.
Trend nr 1: Organisationer konsoliderar sin datahantering och dataverksamhet
Allt oftare hittar man datakonsolidering där man hittar dataintegration: närmare bestämt möjligheten att samla flera metoder för datahantering på en enda plattform, även om själva data kommer från ett allt bredare utbud av källor.
”Vi ser en strävan efter konsolidering”, säger Erik Duffield, medgrundare och vd för Hakkoda, ett datakonsultföretag som specialiserar sig på Snowflake-molnet. Duffields företag genomförde nyligen en undersökning bland 500 dataansvariga och beslutsfattare i stora USA-baserade företag; nästan tre av fyra svarande (74 %) uppgav att de planerar att införa ett centraliserat moln för sin dataverksamhet under 2024.
Lucas Wyland, grundare av videospelsanalysföretaget Steambase, påpekar att det innebär en viss inledande komplexitet att slå samman olika datafunktioner på en enda plats och vanligtvis kräver noggrann planering, migrering och systemkompatibilitet, bland annat. Men fördelarna är ofta värda det.
”Dataredundans är en betydande utmaning för organisationer”, säger Wyland. ”Därför effektiviserar de datahanteringen genom att konsolidera datapipelines, ETL-processer och datalager. Det förenklar hanteringen och minskar redundansen.”
-
Hevo
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.7 -
Adverity
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.5 -
Integrate.io
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.3
Duffield från Hakkoda delar med sig av ett exempel från en nyligen genomförd kundrelation: en regional bank vars data i praktiken var uppdelade i tre olika silos. Det ledde till fragmentering i bankens övergripande strategi för datahantering.
”Vi arbetade nära kunden för att konsolidera dess silobaserade datakällor till en enda sanningskälla, vilket gjorde det möjligt för dem att inte bara skapa en mer heltäckande bild av sina data, utan också lägga en stark, flexibel och skalbar grund för framtida innovation, inklusive AI-integration”, säger Duffield.
(Kom ihåg det där om AI-integration – vi återkommer till det om en stund.)
Trend nr 2: Hybridmoln- och multimolnarkitekturer understryker behovet av dataintegration
Även om fler organisationer konsoliderar sin datahantering och sin verksamhet kan detsamma inte sägas om deras bredare portfölj av infrastruktur och applikationer. I många organisationer distribueras infrastruktur och applikationer alltmer över flera miljöer – vilket understryker behovet av robusta verktyg och metoder för dataintegration.
Detta bidrar sannolikt också till konsolideringstrenden. Maheshwari påpekar att integrering av data som är spridda över olika molnmiljöer kan skapa egna utmaningar, vilket driver fram ett behov av ”[dataintegrations]lösningar som erbjuder flexibilitet, skalbarhet och interoperabilitet”.
Distribuerad infrastruktur och distribuerade applikationer synliggör också dataintegrationens växande roll inom datastyrning och säkerhet, enligt Maheshwari, som tillägger att teknikansvariga prioriterar datasekretess, regelefterlevnad och riskhantering.
Trend nr 3: AI kommer (så småningom) att bli allmänt förekommande i datastackar
Ja, AI finns redan “överallt” (inte riktigt). Men när det gäller teknikstackar för data skrapar vi bara på ytan.
Hakodas undersökning bland dataansvariga visade till exempel att den överväldigande majoriteten (85 %) planerar att ta generativa AI-verktyg i produktion under 2024, och Duffield säger att ungefär hälften av dessa företag redan använder AI i olika former av automatisering.
-
Snowflake Data Cloud
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.7 -
Dataiku
Visit WebsiteThis rating combines scores from multiple user review sites to reflect overall customer sentiment about the product.4.6 -
Gradient Labs
Visit Website
“Men vi ser sofistikerade användningsområden som AI-copiloter, ETL/ELT samt schemamatchning och integration mycket mer sällan – åtminstone just nu”, säger Duffield.
Betoning på just nu: “IT-organisationer befinner sig i ett fantastiskt läge för att utnyttja AI i interna processer och förändra hur IT utformas, byggs och stöds”, tillägger Duffield.
Maheshwari förutser på samma sätt en ökad användning av AI- och maskininlärningsalgoritmer i dataintegrationsprocesser samt automatisering av datahanteringsuppgifter som datarensning, transformering och avstämning.
Maheshwaris företag samarbetade med ett stort e-handelsföretag för att implementera AI-funktioner i deras dataintegrationsprocesser, med målet att förbättra konsumenternas shoppingupplevelser.
“Genom att integrera realtidsdata om kundinteraktioner med produktlager och försäljningshistorik gjorde vi det möjligt för vår kund att leverera personliga produktrekommendationer, vilket ökade konverteringsgraden avsevärt”, säger Maheshwari.
Trend nr 4: Metadatadriven automatisering kommer också att påskynda och förbättra datahantering och dataintegration
All automatisering behöver inte AI – långt därifrån. Datahanterings- och dataintegrationsprocesser erbjuder möjligheter att minska tidskrävande (och felbenäget) manuellt arbete. För organisationer som inte riktigt är redo att kasta sig in i AI pekar Duffield på metadatadriven automatisering som en annan viktig trend.
“Vi ser många möjligheter till metadatadriven automatisering vid inläsning, integrering och leverans av analyslösningar med högt värde”, säger Duffield.
Robust metadata kan påskynda dataintegration för småföretagsprocesser i ett tidigt skede och ge fördelar längre fram när det gäller tillit, noggrannhet, dataursprung och användbarhet.
“Molnplattformar som innehåller betydande mängder teknisk metadata möjliggör snabb implementering och skalning av datapipelines, samtidigt som de automatiskt ger insyn i dataursprunget – vilket ger datakonsumenter förtroende för att data är korrekt och kommer från rätt källa”, säger Duffield.
Wyland från Steambase påpekar att denna funktion – robust metadata och styrning – kommer att vara avgörande när fler företag börjar använda LLM:er och andra former av AI.
“Det är avgörande att förstå dataflödet”, säger Wyland.
Han förutser en överlappande trend här: framväxten av modeller med “röd-gul-grön” (RAG) som visuellt representerar dataursprung och datakvalitet.
“De hjälper yrkesverksamma att förstå dataflöden över system och identifiera potentiella flaskhalsar eller problem”, säger Wyland.
Trend nr 5: Vertikalisering kommer till dataintegration
Med tanke på den dynamiska karaktären hos dataintegration och data i sig ser Wyland också betydande outnyttjade möjligheter för lösningar som är anpassade till branschspecifika krav och användningsområden.
Även om det kan finnas vissa grundprinciper för datahantering och dataintegration som gäller för i stort sett alla sektorer, kanske standardiserade lösningar inte fångar nyanserna – eller de fullständiga skillnaderna – mellan dataintegration i exempelvis en tillverkningsmiljö och en vårdmiljö. Som ett resultat säger Wyland:
“Vertikalisering innebär att lösningar för datainfrastruktur anpassas [eller] skräddarsys för specifika branscher eller användningsområden”, säger Wyland. “Det gör det möjligt för organisationer att uppnå bättre överensstämmelse med sina affärsbehov.”
För att göra detta effektivt krävs domänexpertis och flexibilitet att anpassa sig till unika krav – vilket innebär betydande möjligheter för dataprofessionella och dataintegrationsleverantörer som kan leverera.
Slutsatsen
Dataintegration är hett – och av goda skäl. Det är ett avgörande sätt att skapa mening i dina data och generera konkret värde. Annars samlar du bara in data för sakens skull.
Vilka av dessa dataintegrationstrender är mest relevanta för din verksamhet? Prenumerera på The CTO Clubs nyhetsbrev för fler branschnyheter och diskussioner!
