Dane, dane i jeszcze więcej danych: to dziś wspólna waluta praktycznie każdej firmy i każdej branży. Jednak wartość tych danych w dużej mierze zależy od narzędzi do integracji danych. Bez nich większość organizacji ma trudności z organizowaniem, analizowaniem, przechowywaniem i zabezpieczaniem danych.
Nieważne, jak dobrze radzisz sobie z gromadzeniem danych — dane mają niewielką wartość, jeśli nie potrafisz ich zrozumieć. W istocie wiele korzyści z integracji danych koncentruje się wokół tego podstawowego celu: zwiększenia wartości wszystkich dostępnych informacji.
To również wyjaśnia, dlaczego integracja danych stała się samodzielnie wielomiliardową branżą. Organizacje zarządzają coraz większymi zbiorami danych, a także coraz bardziej zróżnicowanymi źródłami tych danych. Połączenie wszystkiego w sposób, który między innymi sprawia, że dane stają się zrozumiałe i użyteczne, ma kluczowe znaczenie.
„Integracja danych jest fundamentem nowoczesnych firm, umożliwiając płynną współpracę i podejmowanie decyzji w różnych systemach i źródłach”, mówi Rohit Maheshwari, współzałożyciel NMG Technologies.
Podobnie jak same dane, integracja danych również nieustannie dostosowuje się i ewoluuje wraz z nowymi możliwościami i wymaganiami.
„Krajobraz ten znacząco zmienił się od początków podstawowych procesów ETL do dzisiejszych zaawansowanych rozwiązań do integracji w czasie rzeczywistym”, mówi Maheshwari.
Mając to na uwadze, poprosiliśmy Maheshwariego i innych ekspertów ds. danych o wskazanie najważniejszych trendów w integracji danych, które kształtują się w 2024 roku i później. Oto, co mieli do powiedzenia.
Trend nr 1: Organizacje konsolidują operacje związane z danymi i zarządzanie nimi
Coraz częściej tam, gdzie spotykasz integrację danych, znajdziesz również konsolidację danych: konkretnie możliwość przeniesienia wielu praktyk zarządzania danymi na jedną platformę, nawet jeśli same dane pochodzą z coraz szerszej gamy źródeł.
„Obserwujemy dążenie do konsolidacji”, mówi Erik Duffield, współzałożyciel i dyrektor generalny Hakkoda, firmy konsultingowej specjalizującej się w chmurze Snowflake. Firma Duffielda przeprowadziła niedawno ankietę wśród 500 liderów i osób decyzyjnych ds. danych w dużych firmach z siedzibą w Stanach Zjednoczonych; prawie trzy czwarte respondentów (74%) zgłosiło plany wdrożenia scentralizowanej chmury na potrzeby operacji związanych z danymi w 2024 roku.
Lucas Wyland, założyciel firmy analitycznej zajmującej się grami wideo Steambase, zauważa, że połączenie rozproszonych operacji związanych z danymi w jednym miejscu wiąże się z początkową złożonością i zazwyczaj wymaga między innymi starannego planowania, migracji oraz zapewnienia zgodności systemów. Korzyści często jednak są tego warte.
„Redundancja danych stanowi poważne wyzwanie dla organizacji”, mówi Wyland. „Dlatego usprawniają operacje związane z danymi, konsolidując potoki danych, procesy ETL i hurtownie danych. Upraszcza to zarządzanie i ogranicza redundancję”.
Duffield z Hakkoda dzieli się przykładem niedawnego klienta — banku regionalnego, którego dane były zasadniczo podzielone na trzy różne silosy. Spowodowało to fragmentację ogólnej strategii zarządzania danymi w banku.
„Ściśle współpracowaliśmy z klientem, aby skonsolidować jego odizolowane źródła danych w jedno wiarygodne źródło informacji, co pozwoliło mu nie tylko stworzyć bardziej całościowy obraz danych, ale także położyć solidne, elastyczne i skalowalne fundamenty pod przyszłe innowacje, w tym integrację z AI”, mówi Duffield.
(Zapamiętajmy tę uwagę o integracji z AI — wrócimy do niej za chwilę).
Have an account? Log In
Trend nr 2: Architektury chmury hybrydowej i wielochmurowej podkreślają potrzebę integracji danych
Nawet gdy coraz więcej organizacji konsoliduje swoje zarządzanie danymi i operacje, nie można tego samego powiedzieć o ich szerszym portfolio infrastruktury i aplikacji. W wielu organizacjach infrastruktura i aplikacje są coraz bardziej rozproszone w wielu środowiskach — co podkreśla potrzebę stosowania solidnych narzędzi i praktyk integracji danych.
Prawdopodobnie przyczynia się to również do trendu konsolidacji. Maheshwari zauważa, że integrowanie danych rozproszonych w różnych środowiskach chmurowych może stwarzać własne wyzwania, katalizując potrzebę „[rozwiązań do integracji danych] oferujących elastyczność, skalowalność i interoperacyjność”.
Rozproszona infrastruktura i aplikacje również podkreślają rosnącą rolę integracji danych w zarządzaniu danymi i bezpieczeństwie, twierdzi Maheshwari, dodając, że liderzy technologiczni priorytetowo traktują prywatność danych, zgodność z przepisami i zarządzanie ryzykiem.
Trend nr 3: AI (ostatecznie) stanie się powszechne w stosach danych
Tak, AI już jest „wszędzie” (niezupełnie). Jednak jeśli chodzi o stosy technologii danych, dopiero zaczynamy odkrywać ich możliwości.
Badanie Hakody przeprowadzone wśród liderów ds. danych wykazało na przykład, że zdecydowana większość (85%) planuje uruchomić narzędzia generatywnej AI w środowisku produkcyjnym w 2024 roku, a Duffield twierdzi, że mniej więcej połowa tych firm już wykorzystuje AI w różnych formach automatyzacji.
„Jednak zaawansowane zastosowania, takie jak asystenci AI, ETL/ELT oraz dopasowywanie schematów i integracja, wciąż spotykamy znacznie rzadziej – przynajmniej na razie” – mówi Duffield.
Nacisk na na razie: „Organizacje IT są w doskonałej sytuacji, aby wykorzystać AI w procesach wewnętrznych i zmienić sposób projektowania, tworzenia i wspierania IT” – dodaje Duffield.
Maheshwari również przewiduje rosnące wykorzystanie algorytmów AI i uczenia maszynowego w procesach integracji danych oraz automatyzację zadań związanych z zarządzaniem danymi, takich jak oczyszczanie, transformacja i uzgadnianie danych.
Firma Maheshwariego współpracowała z dużą firmą handlu elektronicznego przy wdrażaniu funkcji AI w procesach integracji danych, dążąc do poprawy doświadczeń zakupowych konsumentów.
„Integrując dane o interakcjach z klientami w czasie rzeczywistym z informacjami o zapasach produktów i historią sprzedaży, umożliwiliśmy naszemu klientowi dostarczanie spersonalizowanych rekomendacji produktów, znacząco zwiększając współczynniki konwersji” – mówi Maheshwari.
Trend nr 4: Automatyzacja sterowana metadanymi również przyspieszy i usprawni zarządzanie danymi oraz ich integrację
Nie każda automatyzacja wymaga AI – i to zdecydowanie. Procesy zarządzania danymi i ich integracji stwarzają możliwości ograniczenia czasochłonnej (i podatnej na błędy) pracy manualnej. Organizacjom, które nie są jeszcze gotowe, aby zagłębić się w AI, Duffield wskazuje automatyzację sterowaną metadanymi jako kolejny ważny trend.
„Widzimy wiele możliwości automatyzacji sterowanej metadanymi podczas pozyskiwania, integrowania i dostarczania wysokiej wartości rozwiązań analitycznych” – mówi Duffield.
Rozbudowane metadane mogą przyspieszyć wczesne etapy integracji danych w procesach małych firm oraz przynosić dalsze korzyści pod względem zaufania, dokładności, pochodzenia danych i użyteczności.
„Platformy chmurowe zawierające znaczną ilość metadanych technicznych umożliwiają szybkie wdrażanie i skalowanie potoków danych, a także automatycznie zapewniają wgląd w pochodzenie danych – dając konsumentom danych pewność, że dane są dokładne i pochodzą z właściwego źródła” – mówi Duffield.
Wyland z firmy Steambase zwraca uwagę, że ta funkcja – rozbudowane metadane i zarządzanie – będzie kluczowa, gdy coraz więcej firm zacznie wdrażać LLM-y i inne formy AI.
„Zrozumienie przepływu danych ma kluczowe znaczenie” – mówi Wyland.
Przewiduje on również powiązany trend: rozwój modeli „czerwony-bursztynowy-zielony” (RAG), które wizualnie przedstawiają pochodzenie i jakość danych.
„Pomagają one profesjonalistom zrozumieć przepływ danych między systemami oraz identyfikować potencjalne wąskie gardła lub problemy” – mówi Wyland.
More Articles
Trend nr 5: Integracja danych zostanie dostosowana do poszczególnych branż
Biorąc pod uwagę dynamiczny charakter integracji danych i samych danych, Wyland dostrzega również znaczne, niewykorzystane możliwości rozwiązań dostosowanych do wymagań i przypadków użycia charakterystycznych dla poszczególnych branż.
Choć istnieją pewne podstawy zarządzania danymi i ich integracji, które mają zastosowanie praktycznie w każdym sektorze, podejścia uniwersalne mogą nie oddawać niuansów – ani zasadniczych różnic – między integracją danych na przykład w środowisku produkcyjnym a integracją w sektorze opieki zdrowotnej. W rezultacie Wyland
„Dostosowanie branżowe polega na dopasowywaniu [lub] personalizowaniu rozwiązań infrastruktury danych do konkretnych branż lub przypadków użycia” – mówi Wyland. „Umożliwia organizacjom lepsze dostosowanie do potrzeb biznesowych”.
Skuteczne przeprowadzenie tego procesu będzie wymagało wiedzy dziedzinowej i elastyczności pozwalającej dostosowywać się do unikalnych wymagań – co oznacza znaczne możliwości dla specjalistów ds. danych i dostawców rozwiązań do integracji danych, którzy potrafią je spełnić.
Podsumowanie
Integracja danych jest bardzo ważna – i to z dobrego powodu. To kluczowy sposób na zrozumienie danych i generowanie wymiernej wartości. W przeciwnym razie zbierasz dane tylko dla samego ich zbierania.
Które z tych trendów w integracji danych są najbardziej istotne dla Twojej firmy? Dołącz do biuletynu The CTO Club, aby poznać więcej wiadomości i dyskusji z branży!
