Zaufanie do danych stało się ważniejsze niż kiedykolwiek w erze sztucznej inteligencji. Wraz z gwałtownie rosnącym uzależnieniem od danych, które napędzają generatywną sztuczną inteligencję i inne zastosowania AI, organizacje muszą ocenić strategie i ramy zarządzania danymi, aby jak najlepiej wspierać ten nowy i zmieniający się krajobraz.
Zaufanie do danych zapewnia wiarygodność i dokładność danych organizacji. Wykracza ono poza inwestowanie w pojedyncze narzędzia do obserwowalności, katalogowania czy zarządzania — chodzi o ustanowienie kompleksowych ram gwarantujących wiarygodność danych w całym łańcuchu wartości.
Na przykład firma handlowa wykorzystująca AI do spersonalizowanego marketingu musi zapewnić, że dane klientów są dokładne i aktualne, aby uniknąć kierowania niewłaściwych produktów do nieodpowiednich grup demograficznych.
Wyzwanie związane z systemami starszego typu
Główne wyzwanie polega na tym, że tradycyjne technologie często nie radzą sobie ze skalą i złożonością współczesnych ekosystemów danych. Te starsze podejścia mają trudności z jakością danych, obserwowalnością, katalogowaniem i zarządzaniem — kluczowymi aspektami, które w systemach starszego typu są często odizolowane i niespójne. Taka fragmentacja może prowadzić do niespójności danych, problemów z zarządzaniem oraz zwiększonego ryzyka.
Na przykład instytucja finansowa taka jak Equifax, korzystająca z przestarzałych systemów, może mieć trudności z utrzymaniem spójnej jakości danych w różnych działach, co prowadzi do błędów w raportowaniu zgodności lub prognozowaniu finansowym.
Brian Weiss, dyrektor ds. technologii, Hyperscience
“Ustanowienie zaufania do danych jest jednym z największych wąskich gardeł w rozwoju AI. Większość danych przedsiębiorstw ma charakter nieustrukturyzowany i nie może być od razu wykorzystywana przez systemy AI. Chociaż wiele narzędzi deklaruje rozwiązanie tego problemu, organizacje muszą zapewnić dokładność danych przed zintegrowaniem ich z systemami AI.
Mechanizmy ugruntowania, takie jak architektury RAG, wymagają precyzyjnie oznaczonych danych, aby generować wiarygodne i poprawne wyniki. Wykorzystanie uczenia maszynowego do tworzenia połączeń między osadzonymi danymi dodatkowo podkreśla konieczność zapewnienia wysokiej jakości danych, biorąc pod uwagę znaczący wpływ, jaki niska jakość danych może wywierać na systemy przetwarzania dalszego.
Uważam, że nauczenie GenAI specyficznego języka firmy, opartego na danych stanowiących źródło prawdy w centrum przedsiębiorstwa, ma kluczowe znaczenie dla zwiększenia skali wdrożeń i odblokowania wartości. Jest to szczególnie istotne, gdy organizacje przechodzą od eksperymentów z GenAI do projektów generujących rzeczywisty zwrot z inwestycji.”
Ramy dojrzałości zaufania do danych
Aby sprostać tym wyzwaniom i zbudować solidne podstawy sukcesu AI, organizacje powinny rozważyć przyjęcie ram dojrzałości zaufania do danych, które zapewniają plan działania umożliwiający przejście od wczesnych etapów zarządzania danymi do zaawansowanego, skalowalnego ekosystemu zarządzania danymi.
Plan ten obejmuje:
- Organizacje na wczesnym etapie koncentrują się na zarządzaniu metadanymi i ręcznym testowaniu kluczowych zasobów. Choć etap ten ma charakter reaktywny, ma kluczowe znaczenie dla stworzenia podstaw bardziej zaawansowanych praktyk. Na przykład startup może rozpocząć od ręcznego audytowania danych klientów, aby zapewnić ich dokładność przed uruchomieniem silnika rekomendacji opartego na AI.
Możesz dołączyć do nowoczesnej rewolucji danych poprzez (1) wdrożenie mechanizmów kontroli pomagających zapewnić jakość danych źródłowych, (2) ustanowienie narzędzi i procesów wspierających wspólne (semantyczne) rozumienie danych na wczesnym etapie przepływów danych w organizacji oraz (3) demokratyzację pracy z danymi poprzez przyjęcie narzędzi low-code / no-code i narzędzi generatywnej sztucznej inteligencji do konsumpcji danych.
- Etap świadomości i rozwoju W tym miejscu organizacja przechodzi na bardziej proaktywne podejście, wprowadzając słownik biznesowy, śledząc pochodzenie danych, przypisując własność danych i wdrażając podstawową obserwowalność danych (narzędzia do obserwowalności danych oferują wiele korzyści w tym zakresie). Ten krok jest niezbędny do zbudowania wspólnego języka danych i wspierania współpracy między zespołami danych a interesariuszami biznesowymi. Średniej wielkości firma może rozpocząć wdrażanie słownika biznesowego w celu ujednolicenia terminów i definicji w różnych działach, zapewniając wszystkim wspólne rozumienie podczas analizowania danych sprzedażowych.
- Etap skalowania Wprowadza zaawansowane praktyki, takie jak maskowanie danych osobowych (PII), formalne struktury zarządzania, kompleksowe pokrycie infrastruktury, kontrakty danych oraz tworzenie produktów i domen danych. Na tym etapie dane są traktowane jak produkt, którego projektowanie i utrzymanie są celowo ukierunkowane na spełnianie potrzeb użytkowników. Duża korporacja może ustanowić formalne struktury zarządzania danymi w celu zarządzania poufnymi informacjami o klientach na wielu rynkach globalnych, zapewniając zgodność z lokalnymi przepisami i zwiększając zaufanie klientów.
Bazując na moim doświadczeniu we wspieraniu agencji federalnych i organizacji w lepszym zarządzaniu danymi, zarówno w kontekście rozwijających się technologii, takich jak AI, jak i poza nim, mogę stwierdzić, że sukces zaufania do danych w erze AI zależy od danych wysokiej jakości, jednak osiągnięcie i utrzymanie tej jakości stanowi poważne wyzwanie.
Wdrożenie tak ujednoliconego modelu dojrzałości zaufania do danych ma kluczowe znaczenie dla przezwyciężenia ograniczeń konwencjonalnych technologii oraz skutecznego poruszania się w złożonym środowisku AI i transformacji cyfrowej. Taki model powinien obejmować kilka wzajemnie powiązanych elementów:
- Wykrywanie danych i zarządzanie metadanymi
- Klasyfikacja i priorytetyzacja domen danych
- Obserwowalność danych na potrzeby monitorowania niezawodności i wydajności
- Usprawniona współpraca i kontrakty danych
- Strategie zarządzania danymi
Konsolidując te funkcje na jednej platformie, organizacje mogą czerpać korzyści z bezproblemowej integracji, mniejszej zależności od dostawców oraz usprawnionej komunikacji w całym środowisku danych.
Organizacja ochrony zdrowia korzystająca z ujednoliconej platformy może usprawnić udostępnianie danych między różnymi działami, zmniejszając ryzyko naruszeń danych i poprawiając wyniki leczenia pacjentów dzięki lepiej poinformowanym decyzjom klinicznym.
Dobre gromadzenie danych powinno odbywać się w sposób celowy. Jakie są kluczowe pytania, które zadajesz AI, aby pomogła Ci znaleźć rozwiązanie? Jakie dane są potrzebne, aby odpowiedzieć na te pytania? Projektując procesy biznesowe oparte na danych od początku do końca, organizacje mogą sprawić, że gromadzenie danych stanie się bardziej rutynową częścią ich codziennej działalności. Gdy użytkownicy końcowi prawidłowo korzystają z systemów, generowane przez nich dane są dokładniejsze, a wnioski uzyskiwane z modeli predykcyjnych lub wykorzystywane do ulepszania promptów dla LLM-ów mogą rzeczywiście przynosić istotną wartość biznesową.
Ostatecznie modele AI są niewiele więcej niż eksperymentem naukowym, jeśli ich wyniki nie są wykorzystywane do podejmowania lepszych decyzji. Aby tak się stało, organizacje muszą traktować priorytetowo budowanie zaufania — a w konsekwencji także wdrażanie i powszechne wykorzystywanie — tych narzędzi.
Pokonywanie wyzwań związanych z GenAI
Jednym z najpoważniejszych wyzwań, przed którymi stoją dziś organizacje, jest rosnąca złożoność modeli GenAI. Modele te są często trenowane na ogromnych zbiorach danych, przez co trudno zrozumieć, w jaki sposób dochodzą do swoich wniosków. Ten brak przejrzystości może utrudniać zaufanie do wyników modeli GenAI.
Mike Finley, dyrektor ds. technologii i współzałożyciel firmy AnswerRocket, zwraca uwagę na to wyzwanie: „Modele językowe tworzą zupełnie nową powierzchnię ataku dla polityki zarządzania danymi. Wysyłanie danych do modelu odblokowuje ogromną wartość, ale jednocześnie naraża na nowe wektory zagrożeń. Przedsiębiorstwa są podzielone w tej kwestii — tradycyjnie konserwatywne zespoły, takie jak IT i dział prawny, zachowują ostrożność, podczas gdy zespoły ds. strategii naciskają na przyspieszenie.”
Oprócz problemów z przejrzystością modele GenAI mogą być również podatne na uprzedzenia. Jeśli dane wykorzystane do wytrenowania modelu GenAI są obciążone uprzedzeniami, sam model również będzie stronniczy. Może to prowadzić do niesprawiedliwych lub dyskryminujących rezultatów.
Aby sprostać tym wyzwaniom, organizacje muszą być świadome ograniczeń modeli GenAI i podejmować działania w celu ograniczenia ryzyka. Obejmuje to wdrażanie solidnych praktyk zarządzania danymi, zapewnienie bezstronności danych oraz przejrzyste informowanie o ograniczeniach modeli GenAI.
Blane Sims, dyrektor ds. produktu, Truebit
“Integralność danych, choć często pomijana w rozmowach o AI, ma kluczowe znaczenie. W miarę jak systemy AI coraz silniej wpływają na krytyczne decyzje w różnych branżach, budowanie zaufania do danych leżących u ich podstaw jest niezbędne. Przejrzyste i weryfikowalne procesy związane z danymi stanowią fundament, na którym możemy budować systemy AI nie tylko potężne, ale także w możliwy do wykazania sposób niezawodne.
Nadając priorytet zaufaniu do danych, organizacje mogą zapewnić, że ich inicjatywy związane z AI dostarczają trafnych wniosków, zachowują zgodność z przepisami i zdobywają zaufanie interesariuszy. W tej nowej erze prawdziwa przewaga konkurencyjna polega nie tylko na wdrażaniu AI, lecz także na wdrażaniu godnej zaufania AI.”
Należy jednak pamiętać, że wdrożenie ram zaufania do danych dotyczy w równym stopniu wewnętrznej zmiany kulturowej, co narzędzi i procesów; wymaga czasu, zaangażowania oraz zmiany sposobu myślenia w całej organizacji.
Jak zauważa Ted Vial, budowanie zaufania do AI zaczyna się od danych wykorzystywanych do jej trenowania.
AI szybko staje się nową wyszukiwarką, tworząc ogromną szansę na rozpowszechnianie fałszywych informacji. Firmy zajmujące się AI muszą budować zaufanie użytkowników, zaczynając przede wszystkim od danych, które wykorzystują do generowania odpowiedzi.
Zaufanie do danych jako przewaga konkurencyjna w AI
W miarę jak nowa era AI nadal się rozwija i ewoluuje, zaufanie do danych stanowi podstawę skutecznych strategii opartych na AI. Przejście od tradycyjnych systemów do solidnego, skalowalnego i godnego zaufania ekosystemu danych wymaga zmian kulturowych, inwestycji w zarządzanie oraz przyszłościowego podejścia do technologii.
W tej nowej erze czyste i wiarygodne dane będą odróżniać liderów rynku od pozostałych firm. Organizacje, które postawią zaufanie do danych w centrum swoich inicjatyw związanych ze sztuczną inteligencją, będą w dobrej pozycji, aby szybciej wprowadzać innowacje, zapewniać bardziej spersonalizowane doświadczenia i osiągać długoterminowy wzrost. Skupiając się na zaufaniu do danych już dziś, tworzysz fundament jutrzejszego sukcesu opartego na sztucznej inteligencji.
Zapisz się do newslettera The CTO Club, aby otrzymywać więcej informacji na temat sztucznej inteligencji, zaufania do danych i przyszłości przywództwa technologicznego.
