Mic Drop bei der Datenintegration: 5 Trends, die Sie im Auge behalten sollten
Daten, Daten und noch mehr Daten: Sie sind die gemeinsame Währung praktisch jedes Unternehmens oder jeder Branche heute. Doch der Wert dieser Daten hängt maßgeblich von Datenintegrationstools ab. Ohne sie kämpfen die meisten Organisationen damit, ihre Daten zu organisieren, zu analysieren, zu speichern und zu sichern.
Egal, wie gut Sie Daten sammeln, die Daten haben nur dann Wert, wenn Sie daraus auch Erkenntnisse gewinnen können. Viele der Vorteile der Datenintegration konzentrieren sich auf dieses grundlegende Ziel: den Wert aller Ihnen zur Verfügung stehenden Informationen zu steigern.
Das erklärt auch, warum Datenintegration inzwischen eine Milliardenschwere Branche für sich geworden ist. Organisationen verwalten immer größere Datenmengen und immer vielfältigere Quellen dieser Daten. Sie alle zusammenzuführen, sodass sie verständlich und nutzbar werden, ist neben anderen Anforderungen entscheidend.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
-
Adverity
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.5 -
Ketch
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.5 -
Cleo Integration Cloud
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.3
„Datenintegration ist das Fundament moderner Unternehmen und ermöglicht nahtlose Zusammenarbeit und Entscheidungsfindung über verschiedene Systeme und Quellen hinweg“, sagt Rohit Maheshwari, Mitgründer von NMG Technologies.
Wie die Daten selbst passt sich auch die Datenintegration stets an neue Möglichkeiten und Anforderungen an und entwickelt sich weiter.
„Das Feld hat sich bemerkenswert verändert – von den Anfängen mit einfachen ETL-Prozessen bis hin zu den heutigen ausgefeilten Echtzeit-Integrationslösungen“, sagt Maheshwari.
Vor diesem Hintergrund baten wir Maheshwari und weitere Datenexperten, uns die wichtigsten Datenintegrationstrends für 2024 und darüber hinaus zu erläutern. Das waren ihre Antworten.
Trend #1: Unternehmen konsolidieren ihre Datenoperationen und das Datenmanagement
Immer öfter gilt: Wo Datenintegration anzutreffen ist, ist auch Konsolidierung im Spiel – konkret die Fähigkeit, mehrere Datenmanagementpraktiken auf einer einzigen Plattform zu vereinen, auch wenn die Daten selbst aus immer vielfältigeren Quellen stammen.
„Wir beobachten einen starken Trend zur Konsolidierung“, sagt Erik Duffield, Mitgründer und CEO von Hakkoda, einer Datenberatung mit Spezialisierung auf die Snowflake Cloud. Duffields Firma hat kürzlich 500 Datenverantwortliche und Entscheider in großen US-Unternehmen befragt; fast drei Viertel der Befragten (74 %) berichteten, dass sie 2024 planen, eine zentrale Cloud für ihre Datenoperationen einzuführen.
Lucas Wyland, Gründer des Videospiel-Analytikunternehmens Steambase, merkt an, dass das Zusammenführen verstreuter Datenprozesse an einem Ort zunächst mit einer gewissen Komplexität einhergeht und in der Regel sorgfältiger Planung, Migration und Kompatibilität der Systeme bedarf. Die Vorteile lohnen sich aber oft.
„Datenredundanzen sind eine große Herausforderung für Unternehmen“, sagt Wyland. „Daher vereinfachen sie ihre Daten-Operationen, indem sie Datenpipelines, ETL-Prozesse und Data Warehousing konsolidieren. Das vereinfacht die Verwaltung und reduziert Redundanzen.“
Duffield von Hakkoda teilt ein Beispiel eines kürzlichen Kundenprojekts: Eine Regionalbank, deren Daten im Wesentlichen in drei Silos verteilt waren. Das führte zu einer Zersplitterung der allgemeinen Datenmanagementstrategie der Bank.
„Wir haben eng mit dem Kunden zusammengearbeitet, um seine isolierten Datenquellen zu einer einzigen Quelle der Wahrheit zu vereinen. Dadurch konnte die Bank nicht nur einen ganzheitlicheren Überblick über ihre Daten gewinnen, sondern auch eine starke, flexible und skalierbare Basis für zukünftige Innovationen – einschließlich der Integration von KI – schaffen“, sagt Duffield.
(Merken Sie sich das Stichwort KI-Integration – darauf kommen wir gleich zurück.)
Trend #2: Hybrid-Cloud- und Multi-Cloud-Architekturen unterstreichen die Notwendigkeit von Datenintegration
Auch wenn immer mehr Unternehmen ihr Datenmanagement und ihre Operationen konsolidieren, gilt das nicht für ihr gesamtes Infrastruktur- und Anwendungsportfolio. In vielen Organisationen sind Infrastruktur und Anwendungen zunehmend über mehrere Umgebungen verteilt – was die Notwendigkeit robuster Datenintegrationstools und -praktiken unterstreicht.
Dies dürfte auch den Konsolidierungstrend verstärken. Maheshwari erklärt, dass die Integration von Daten, die über verschiedene Cloud-Umgebungen verteilt sind, eigene Herausforderungen birgt – und damit Lösungen erforderlich macht, die „[Datenintegrations-]Lösungen mit Flexibilität, Skalierbarkeit und Interoperabilität“ bieten.
Verteilte Infrastrukturen und Anwendungen betonen zudem die wachsende Rolle der Datenintegration in Datengovernance und Sicherheit. Laut Maheshwari setzen Technikleitende verstärkt Prioritäten bei Datenschutz, regulatorischer Compliance und Risikomanagement.
Trend #3: KI wird (schließlich) allgegenwärtig in Daten-Stacks
Ja, KI ist bereits „überall“ (nicht wirklich). Aber im Hinblick auf Daten-Technologiestacks stehen wir gerade erst am Anfang.
Hakodas Umfrage unter Datenverantwortlichen ergab, dass die überwältigende Mehrheit (85 %) plant, generative KI-Tools im Jahr 2024 produktiv einzusetzen. Duffield sagt, dass etwa die Hälfte dieser Unternehmen KI bereits in verschiedenen Formen der Automatisierung verwendet.
-
Nanonets
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.9 -
Athenic
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.4 -
iguazio
Visit WebsiteThis is an aggregated rating for this tool including ratings from Crozdesk users and ratings from other sites.4.8
„Aber wir sehen anspruchsvolle Anwendungsfälle wie KI-Copiloten, ETL/ELT und Schemamatching und -integration bisher viel seltener – zumindest noch“, sagt Duffield.
Betonung auf noch: „IT-Organisationen sind in einer hervorragenden Position, KI zur Optimierung interner Prozesse zu nutzen und dadurch die Art und Weise zu verändern, wie IT entworfen, gebaut und unterstützt wird“, ergänzt Duffield.
Auch Maheshwari erwartet die verstärkte Einführung von KI- und Machine-Learning-Algorithmen in Datenintegrationsprozessen sowie die Automatisierung von Aufgaben des Datenmanagements wie Datenbereinigung, -transformation und -abstimmung.
Maheshwaris Unternehmen arbeitete mit einem großen E-Commerce-Unternehmen zusammen, um KI-Fähigkeiten in deren Datenintegrationsprozesse zu implementieren, um so das Einkaufserlebnis für Verbraucher zu verbessern.
„Durch die Integration von Echtzeit-Kundendaten mit Produktbeständen und Verkaufshistorie konnten wir unserem Kunden helfen, personalisierte Produktempfehlungen auszuliefern und so die Konversionsrate signifikant zu steigern“, sagt Maheshwari.
Trend #4: Metadaten-gesteuerte Automatisierung wird das Datenmanagement und die Integration ebenfalls beschleunigen und verbessern
Nicht jede Automatisierung braucht KI—bei weitem nicht. Datenmanagement- und Integrationsprozesse bieten zahlreiche Möglichkeiten, zeitaufwändige (und fehleranfällige) manuelle Tätigkeiten zu reduzieren. Für Organisationen, die noch nicht komplett in die KI eintauchen wollen, verweist Duffield auf Metadaten-gesteuerte Automatisierung als weiteren wichtigen Trend.
„Wir sehen viele Chancen für metadatengesteuerte Automatisierung bei der Aufnahme, Integration und Bereitstellung von wertvollen Analyse-Lösungen“, sagt Duffield.
Robuste Metadaten können eine frühe Datenintegration für Kleinunternehmen befördern und bringen nachgelagerte Vorteile hinsichtlich Vertrauen, Genauigkeit, Herkunft und Nutzbarkeit.
„Cloud-Plattformen mit umfangreichen technischen Metadaten ermöglichen eine schnelle Bereitstellung und Skalierung von Datenpipelines sowie automatische Einblicke in die Datenherkunft – was Datenkonsumenten Vertrauen gibt, dass die Daten korrekt und aus der richtigen Quelle stammen“, so Duffield.
Wyland von Steambase merkt an, dass diese Fähigkeit – robuste Metadaten und Governance – essentiell sein wird, wenn mehr Unternehmen LLMs und andere Formen von KI einführen.
„Das Verständnis des Datenflusses ist entscheidend“, sagt Wyland.
Er erwartet in diesem Zusammenhang einen parallelen Trend: das Wachstum von „Ampel-“ (RAG)-Modellen, die Datenherkunft und -qualität visuell darstellen.
„Sie helfen Fachleuten, den Datenfluss über Systeme hinweg zu verstehen und potenzielle Engpässe oder Probleme zu identifizieren“, sagt Wyland.
Trend #5: Branchenorientierung wird in die Datenintegration Einzug halten
Angesichts der Dynamik von Datenintegration und den Daten selbst sieht Wyland außerdem bedeutende ungenutzte Chancen für Lösungen, die auf branchenspezifische Anforderungen und Anwendungsfälle zugeschnitten sind.
Auch wenn einige Grundprinzipien des Datenmanagements und der Integration praktisch für jede Branche gelten, greifen Einheitsansätze oft zu kurz – sie können die feinen Unterschiede oder sogar gravierenden Besonderheiten der Datenintegration in z. B. einer Fertigungs- und einer Gesundheitsumgebung nicht abbilden. Infolgedessen meint Wyland
„Branchenorientierung bedeutet, dass Dateninfrastrukturlösungen auf bestimmte Branchen oder Anwendungsfälle zugeschnitten bzw. an diese angepasst werden“, erklärt Wyland. „So können Organisationen die bessere Passung zu ihren Geschäftsbedürfnissen erreichen.“
Um das effektiv zu tun, braucht es Fachwissen in der jeweiligen Domäne sowie Flexibilität für individuelle Anforderungen – und damit ergeben sich erhebliche Chancen für Datenprofis und Integrationsanbieter, die diese liefern können.
Fazit
Datenintegration ist angesagt – und das aus gutem Grund. Sie ist entscheidend, um Ihre Daten zu verstehen und daraus echten Mehrwert zu schaffen. Ansonsten sammeln Sie Daten nur um ihrer selbst willen.
Welche dieser Trends bei der Datenintegration sind für Ihr Unternehmen am relevantesten? Abonnieren Sie den Newsletter des CTO Club für weitere Branchennachrichten und Diskussionen!
