Przez lata obserwowałem, jak organizacje intensywnie inwestują w programy zarządzania danymi, oczekując, że nowa platforma zarządzania danymi w końcu zaprowadzi porządek w ich środowisku danych. Logika jest zrozumiała. Jeśli trudno jest znaleźć, zdefiniować, obdarzyć zaufaniem lub kontrolować dane, platforma zarządzania danymi powinna w tym pomóc. Organizacje wdrażają katalogi danych, wyznaczają właścicieli danych, ustanawiają przepływy pracy związane z nadzorem, tworzą słowniki biznesowe oraz opracowują zasady dotyczące prywatności, bezpieczeństwa, zgodności i wykorzystania danych.

Wszystkie te działania są ważne. Jednak same w sobie rzadko są wystarczające.

Powód jest prosty: zarządzanie danymi nie może zakończyć się sukcesem, gdy jest oderwane od architektury, którą ma zarządzać.

Słownik biznesowy może definiować termin, ale jeśli ta definicja nie jest powiązana z modelami danych, schematami, tabelami, kolumnami i systemami, w których dane faktycznie się znajdują, zarządzanie danymi pozostaje niekompletne. Katalog może pomagać użytkownikom w odnajdywaniu zasobów, ale jeśli zasoby te nie są powiązane z definicjami przedsiębiorstwa i zamodelowanymi relacjami, samo wyszukiwanie nie musi budować zaufania. Zasada może opisywać sposób postępowania z danymi wrażliwymi, ale jeśli nie jest powiązana ze strukturami, w których dane wrażliwe są tworzone, przekształcane i wykorzystywane, egzekwowanie tej zasady staje się trudne.

Dlatego zarządzanie danymi i architektura danych muszą współdziałać.

Najlepiej funkcjonujące organizacje nie traktują modelowania, metadanych, katalogowania, słowników i zarządzania danymi jako odrębnych działań. Łączą je we wspólną, korporacyjną podstawę danych, która pomaga zespołom biznesowym i technicznym definiować, zarządzać informacjami oraz obdarzać je zaufaniem w całej organizacji.

Luka w zarządzaniu danymi tworzona przez większość organizacji

Wiele inicjatyw związanych z zarządzaniem danymi rozpoczyna się od właściwych intencji. Zespoły tworzą słowniki, dokumentują odpowiedzialność, definiują zasady i katalogują zasoby danych, aby ludzie mogli zrozumieć, jakie informacje istnieją i jak należy ich używać.

Wyzwanie pojawia się, gdy zarządzanie danymi zostaje oddzielone od wdrożenia.

Zespół ds. zarządzania danymi może zdefiniować termin biznesowy, taki jak „ubezpieczający”, „roszczenie”, „zasób” lub „przychód netto”. Zespół architektury danych może modelować te pojęcia w aplikacjach, hurtowniach danych, jeziorach danych nowej generacji i środowiskach raportowych. Zespoły analityczne mogą tworzyć pulpity nawigacyjne z wykorzystaniem powiązanych pól, podczas gdy zespoły aplikacyjne nadal wprowadzają zmiany w systemach operacyjnych.

Gdy te grupy pracują w odizolowanych narzędziach, definicje zaczynają się rozchodzić.

Słownik mówi jedno. Model mówi co innego. Baza danych odzwierciedla trzecią interpretację. Raporty i pulpity nawigacyjne mogą wprowadzać dodatkowe założenia, które nigdy nie zostają powiązane z pierwotną definicją biznesową.

W ten sposób organizacje kończą z programami zarządzania danymi, które na papierze wyglądają solidnie, ale w praktyce mają trudności z działaniem. Mają dokumentację, ale nie mają spójności. Mają zasady, ale nie mają możliwości śledzenia pochodzenia danych. Mają katalogi, ale nie zawsze dysponują kontekstem architektonicznym potrzebnym do zrozumienia, w jaki sposób dane są zorganizowane, powiązane i wdrożone.

Zarządzanie danymi nie kończy się niepowodzeniem z powodu braku wysiłku organizacji. Kończy się niepowodzeniem, ponieważ ekosystem zarządzania danymi jest rozfragmentowany.

Dlaczego modele danych są niezbędne do zarządzania danymi

Modele danych odgrywają kluczową rolę w zarządzaniu danymi, ponieważ definiują struktury i relacje, które programy zarządzania danymi muszą rozumieć.

Słownik biznesowy może definiować znaczenie terminu, ale model danych pokazuje, jak to pojęcie jest reprezentowane w różnych systemach. Łączy definicje biznesowe z encjami, atrybutami, relacjami, kluczami, regułami i implementacjami fizycznymi. Bez tego połączenia zespoły odpowiedzialne za zarządzanie danymi mogą znać teoretyczne znaczenie terminu, ale nie mieć wglądu w sposób jego praktycznej implementacji.

To rozróżnienie ma znaczenie, ponieważ korporacyjne środowiska danych są złożone. Pojedyncze pojęcie biznesowe może występować w wielu aplikacjach, bazach danych, systemach raportowych i platformach analitycznych. Może być przechowywane pod różnymi nazwami, modelowane z wykorzystaniem różnych relacji i podlegać różnym zasadom w zależności od miejsca występowania.

Modelowanie danych przedsiębiorstwa pomaga organizacjom stworzyć wspólny schemat tej złożoności. Daje zespołom odpowiedzialnym za zarządzanie danymi możliwość zrozumienia nie tylko tego, jakie dane istnieją, ale także jak są zorganizowane, jak wiążą się z innymi danymi oraz jak zmiany mogą wpływać na systemy niższego rzędu.

Właśnie w tym miejscu zarządzanie danymi staje się operacyjne.

Zamiast zarządzać terminami i zasadami niezależnie od implementacji technicznej, organizacje mogą bezpośrednio łączyć znaczenie z architekturą.

[Wstaw tutaj obraz „CTO_Club_Governance_image1”]

Podpis obrazu: Kluczowe filary zarządzania danymi

Rola katalogu danych i słownika biznesowego

Aby zarządzanie danymi działało na dużą skalę, organizacje potrzebują zarówno widoczności technicznej, jak i znaczenia biznesowego.

W tym miejscu szczególnego znaczenia nabierają możliwości Katalogu Danych i Słownika Biznesowego w ER/Studio.

Katalog danych przedsiębiorstwa ER/Studio zapewnia zarządzany, przeszukiwalny rejestr modeli, schematów, atrybutów i terminów biznesowych. Pomaga zespołom wyszukiwać zaufane zasoby danych, rozumieć metadane techniczne i łączyć te zasoby z definicjami biznesowymi. Zamiast zmuszać użytkowników do przeszukiwania rozproszonych modeli, arkuszy kalkulacyjnych i dokumentacji, katalog zapewnia zespołom scentralizowany sposób rozumienia tego, jakie dane istnieją i jak należy ich używać.

Słownik biznesowy dodaje kontekst biznesowy, którego same metadane techniczne nie są w stanie zapewnić. Pozwala organizacjom definiować terminy biznesowe, zarządzać nimi i łączyć je z zasobami technicznymi, dzięki czemu zespoły posługują się wspólnym językiem w różnych obszarach. Pomaga to ograniczyć niejednoznaczność, usprawnić współpracę między biznesem a IT oraz zapewnić, że standardy zarządzania danymi są wzmacniane przez sposób modelowania i wykorzystywania danych.

Razem Katalog danych i Słownik biznesowy pomagają rozwiązać jeden z najbardziej uporczywych problemów związanych z zarządzaniem danymi: lukę między zasobami technicznymi a rozumieniem biznesowym.

Nazwa tabeli może wskazywać inżynierowi danych, gdzie przechowywane są informacje. Nazwa kolumny może dawać wskazówkę, co zawierają te informacje. Jednak zarządzanie danymi wymaga czegoś więcej niż wskazówek. Wymaga zatwierdzonych definicji, właścicieli, klasyfikacji, relacji i zasad, które mogą być zrozumiałe zarówno dla użytkowników biznesowych, jak i technicznych.

Łącząc skatalogowane zasoby z zarządzanymi terminami biznesowymi, ER/Studio pomaga organizacjom przekształcać metadane we wspólne znaczenie.

Dlaczego integracja z Purview i Collibra ma znaczenie

Wiele przedsiębiorstw korzysta już z Microsoft Purview lub Collibra jako centralnych elementów swojej strategii zarządzania danymi. Dlatego integracja z tymi platformami jest niezbędna.

Wyzwanie polega na tym, że platformy zarządzania danymi i platformy do modelowania danych często znajdują się w różnych obszarach organizacji. Zespoły ds. zarządzania danymi mogą pracować w Purview lub Collibra, podczas gdy architekci danych pracują w środowiskach modelowania. Jeśli te narzędzia nie pozostają zsynchronizowane, luki w metadanych szybko się pojawiają.

ER/Studio rozwiązuje ten problem dzięki natywnej integracji zarówno z Microsoft Purview, jak i Collibra, umożliwiając organizacjom bezpośrednie połączenie architektury danych z programami zarządzania danymi w przedsiębiorstwie. ER/Studio opisuje to jako kluczową przewagę konkurencyjną, stwierdzając, że jest jedyną platformą do modelowania danych w przedsiębiorstwie z natywną integracją z Microsoft Purview i Collibra.

Dzięki integracji z Microsoft Purview organizacje mogą publikować logiczne i fizyczne modele danych w Purview, synchronizować modele danych, łączyć terminy ze słownika Purview z modelami ER/Studio oraz łączyć ustandaryzowane definicje w bazach danych, magazynach w chmurze i narzędziach BI. Pomaga to rozszerzyć kontekst modelu na szersze środowisko zarządzania danymi, tak aby metadane, definicje i pochodzenie danych nie zostały odizolowane w oddzielnych platformach.

Dzięki integracji z Collibra ER/Studio może synchronizować metadane i definicje schematów z Katalogiem danych Collibra, łączyć encje ER/Studio z terminami biznesowymi Collibra, obsługiwać przepływy pracy związane z zarządzaniem danymi oraz zapewniać kontekst na poziomie modelu użytkownikom biznesowym i technicznym. Pomaga to ograniczyć niejednoznaczność poprzez bezpośrednie łączenie zarządzanych terminów z modelami i strukturami, które je implementują.

Integracje te są ważne, ponieważ ograniczają pracę ręczną, która często powoduje opóźnienia w programach zarządzania danymi. Gdy zespoły polegają na eksportach, arkuszach kalkulacyjnych lub okresowych ręcznych aktualizacjach, metadane szybko się dezaktualizują. W miarę rozwoju systemów dokumentacja dotycząca zarządzania danymi przestaje odzwierciedlać stan faktycznie wdrożonych rozwiązań.

Natywna integracja pomaga zamknąć tę lukę.

Przepływ pracy związany z zarządzaniem danymi w praktyce

Aby zrozumieć, dlaczego połączenie architektury i zarządzania danymi ma znaczenie, rozważmy typowy scenariusz.

Organizacja świadcząca usługi finansowe uruchamia nową aplikację do wdrażania klientów. Przed rozpoczęciem prac deweloperskich zespół ds. architektury danych tworzy w ER/Studio korporacyjny logiczny model danych, który definiuje podstawowe pojęcia biznesowe wykorzystywane przez aplikację, w tym Klienta, Konto, Produkt i Profil ryzyka. Zamiast pozwalać każdemu zespołowi projektowemu na niezależną interpretację tych pojęć, model ustanawia wspólną podstawę semantyczną, którą można ponownie wykorzystywać w aplikacjach, analityce, zarządzaniu danymi i inicjatywach związanych ze sztuczną inteligencją.

W miarę udoskonalania modelu logicznego Słownik danych przedsiębiorstwa ER/Studio standaryzuje konwencje nazewnictwa, domeny wielokrotnego użytku i zatwierdzone definicje danych. Pomaga to zapewnić spójne przedstawianie tych samych pojęć biznesowych w różnych projektach, zamiast odtwarzania ich pod nieco innymi nazwami lub o nieco innych znaczeniach.

Następnie zespół ds. zarządzania danymi rozwija tę pracę, korzystając ze Słownika biznesowego ER/Studio. Terminy biznesowe są bezpośrednio łączone z encjami i atrybutami w modelu przedsiębiorstwa, dzięki czemu użytkownicy biznesowi, opiekunowie danych i architekci mogą korzystać z tych samych zatwierdzonych definicji. Zamiast utrzymywania oddzielnej dokumentacji zasoby związane z zarządzaniem danymi pozostają połączone z opisywaną przez nie architekturą.

Po zatwierdzeniu modelu logicznego architekci generują modele fizyczne obsługujące implementację, zachowując możliwość śledzenia ich pochodzenia do definicji przedsiębiorstwa. Modele te wraz z powiązanymi metadanymi i terminami ze słownika stają się dostępne do wyszukiwania w Katalogu danych ER/Studio, zapewniając użytkownikom technicznym i biznesowym zarządzany wgląd w informacje przedsiębiorstwa.

Ponieważ wiele organizacji korzysta już z platform zarządzania danymi w przedsiębiorstwie, ER/Studio rozszerza ten przepływ pracy poza własne środowisko. Metadane modeli, terminy ze słownika i definicje techniczne mogą być synchronizowane z Microsoft Purview i Collibra, dzięki czemu zespoły ds. zarządzania danymi mogą nadal pracować w używanych już platformach, zachowując zgodność z bazową architekturą przedsiębiorstwa.

Kilka miesięcy później nowe wymogi regulacyjne zmieniają sposób, w jaki należy rejestrować klasyfikacje ryzyka klientów.

Zamiast ręcznie przeglądać dokumentację w wielu systemach, architekt danych aktualizuje model korporacyjny w ER/Studio i korzysta z analizy wpływu, aby zidentyfikować aplikacje, bazy danych, raporty oraz zarządzane zasoby znajdujące się niżej w łańcuchu zależności, których dotyczy zmiana. Zmienione definicje biznesowe pozostają powiązane za pośrednictwem słownika biznesowego, a zsynchronizowane metadane zapewniają, że Microsoft Purview i Collibra nadal odzwierciedlają zaktualizowaną architekturę.

Zamiast traktować architekturę i zarządzanie danymi jako odrębne działania, ten proces utrzymuje synchronizację modeli korporacyjnych, metadanych, definicji biznesowych i platform zarządzania w całym cyklu życia danych. Rezultatem jest program zarządzania, który rozwija się wraz z firmą, zamiast nieustannie próbować ją dogonić.

Połączenie zarządzania z pełnym cyklem życia danych

Kompletne korporacyjne rozwiązanie danych wymaga czegoś więcej niż katalogowania tego, co już istnieje. Wymaga również zarządzania danymi na etapie ich projektowania, modyfikowania, wdrażania i wykorzystywania.

W tym miejscu szczególnie wartościowe staje się połączenie możliwości modelowania w ER/Studio, katalogu danych, słownika biznesowego oraz integracji z platformami zarządzania.

Architekci danych mogą definiować modele logiczne i fizyczne, które odzwierciedlają znaczenie biznesowe oraz implementację techniczną. Zespoły zarządzania mogą łączyć terminy biznesowe, zakresy odpowiedzialności za dane, klasyfikacje i zasady z tymi modelami. Użytkownicy katalogu mogą wyszukiwać zasoby wraz z kontekstem technicznym i biznesowym. Użytkownicy Purview i Collibra mogą uzyskiwać dostęp do zsynchronizowanych metadanych i informacji ze słownika w używanych już przez siebie platformach zarządzania.

Tak połączony cykl życia pomaga organizacjom przejść od reaktywnego do proaktywnego zarządzania danymi.

Zamiast wykrywać problemy z zarządzaniem dopiero po wdrożeniu systemów, zespoły mogą rozwiązywać je już na etapie projektowania. Dane wrażliwe można identyfikować wcześniej. Terminy biznesowe można łączyć z modelowanymi zasobami przed wdrożeniem. Standardy nazewnictwa i konwencje modelowania można konsekwentnie egzekwować. Zmiany można oceniać pod kątem wpływu na elementy zależne, zanim spowodują problemy w raportach, potokach danych lub procesach zarządzania.

Ma to znaczenie, ponieważ zarządzanie danymi nie jest jednorazowym ćwiczeniem dokumentacyjnym. Jest stałą dyscypliną, która musi ewoluować wraz ze zmianami w firmie.

Gdy zarządzanie jest połączone z architekturą danych, organizacje zyskują wyraźniejszy obraz tego, jak definicje, modele, metadane, zasady i systemy zmieniają się w czasie.

Dlaczego ma to znaczenie dla gotowości na AI

Rozwój AI sprawił, że relacja między architekturą a zarządzaniem stała się jeszcze ważniejsza.

Systemy AI potrzebują kontekstu. Do generowania wiarygodnych i możliwych do wyjaśnienia wyników potrzebują definicji, metadanych, relacji, pochodzenia danych, informacji o właścicielach, klasyfikacji i reguł biznesowych. Gdy zarządzanie i architektura są od siebie odłączone, systemy AI dziedziczą te same niespójności, które od dawna utrudniają pracę analitykom, opiekunom danych i liderom biznesowym.

Jeśli termin biznesowy jest zdefiniowany w słowniku, ale nie jest połączony z danymi fizycznymi, które go reprezentują, system AI może nie wiedzieć, której tabeli lub kolumny użyć. Jeśli wiele systemów implementuje tę samą koncepcję w różny sposób, AI może zwracać sprzeczne odpowiedzi. Jeśli metadane są nieaktualne, AI może oprzeć swoją odpowiedź na przestarzałym kontekście.

Dlatego gotowość na AI nie jest wyłącznie wyzwaniem z zakresu nauki o danych ani infrastruktury. Jest również wyzwaniem związanym z zarządzaniem i architekturą.

Organizacje, które łączą korporacyjne modele danych, słowniki biznesowe, katalogi danych i platformy zarządzania, są lepiej przygotowane do zapewnienia systemom AI wiarygodnego kontekstu. Mogą zdefiniować znaczenie biznesowe raz, połączyć je z implementacją techniczną, zsynchronizować z narzędziami zarządzania i ponownie wykorzystać w inicjatywach analitycznych, raportowych oraz związanych z AI.

To właśnie stanowi fundament, którego potrzebuje godna zaufania AI.

Co odnoszące sukcesy organizacje robią inaczej

Odnoszące sukcesy organizacje rozumieją, że zarządzanie nie polega wyłącznie na kontroli. Chodzi o budowanie zaufania do danych.

Rozumieją również, że zaufanie zależy od spójności. Użytkownicy biznesowi potrzebują definicji, którym mogą ufać. Architekci danych potrzebują modeli odzwierciedlających te definicje. Zespoły zarządzania potrzebują zasad powiązanych z rzeczywistymi zasobami. Analitycy potrzebują katalogów pokazujących zarówno metadane techniczne, jak i kontekst biznesowy. Systemy AI potrzebują znaczenia możliwego do odczytania maszynowego, spójnego w całej organizacji.

Organizacje te nie oczekują od zespołów zarządzania utrzymywania jednej wersji prawdy, podczas gdy zespoły architektoniczne utrzymują inną. Tworzą zintegrowany ekosystem, w którym modele, słowniki, katalogi, metadane i platformy zarządzania wzajemnie się wzmacniają.

ER/Studio wspiera to podejście, łącząc korporacyjne modelowanie danych, katalog danych, słownik biznesowy, mechanizmy kontroli dostępu oparte na rolach, automatyczną dokumentację, egzekwowanie standardów oraz natywne integracje z Microsoft Purview i Collibra. Dzięki temu organizacje zyskują pełniejszy sposób łączenia znaczenia biznesowego, projektu technicznego i realizacji zarządzania w oparciu o jedną podstawę architektury danych.

Rezultatem nie jest po prostu lepsza dokumentacja. Jest nim silniejszy model operacyjny dla danych korporacyjnych.

[Wstaw tutaj obraz „CTO_Club_Governance_image2”]

Podpis obrazu: Dlaczego zarządzanie danymi w przedsiębiorstwie kończy się niepowodzeniem

Budowanie kompletnej podstawy danych przedsiębiorstwa

Współczesne środowiska danych są zbyt złożone, aby zarządzać nimi w sposób rozproszony.

Organizacje zarządzają operacyjnymi bazami danych, platformami chmurowymi, hurtowniami danych, jeziorami danych, narzędziami analitycznymi, systemami BI, katalogami zarządzania oraz aplikacjami AI. Każde środowisko wprowadza własne metadane, terminologię, struktury i zasady. Bez zintegrowanego podejścia nawet dobrze zaplanowane programy zarządzania danymi mogą stać się kolejnym silosem.

Kompletna podstawa danych przedsiębiorstwa łączy te elementy.

Modele danych definiują strukturę i relacje. Słownik biznesowy definiuje zatwierdzone znaczenie biznesowe. Katalog danych ułatwia wyszukiwanie zarządzanych zasobów. Integracje z Microsoft Purview i Collibra rozszerzają ten kontekst na przepływy pracy związane z zarządzaniem w przedsiębiorstwie. Kontrola dostępu oparta na rolach i standardy pomagają zapewnić, że właściwe osoby mogą zarządzać właściwymi zasobami we właściwy sposób.

Gdy te możliwości współdziałają, organizacje zyskują zdolność do zarządzania danymi od etapu projektowania aż po ich wykorzystanie.

Mogą rozumieć znaczenie danych, wiedzieć, gdzie się znajdują, jak są zbudowane, kto jest za nie odpowiedzialny, jak są klasyfikowane, jak się zmieniają i jak łączą się z systemami niższego rzędu. Taki poziom widoczności ma kluczowe znaczenie dla zgodności, modernizacji, analityki i AI.

To właśnie on pozwala również przekształcić zarządzanie danymi w czynnik wspierający biznes, a nie obciążenie związane z dokumentacją.

Przyszłość zarządzania danymi jest połączona

Nowa generacja zarządzania danymi nie będzie definiowana przez samodzielne katalogi, odłączone słowniki ani odizolowane repozytoria zasad. Będzie definiowana przez skuteczność, z jaką organizacje łączą zarządzanie z architekturą swoich danych.

Zarządzanie bez architektury nie ma kontekstu implementacyjnego. Architektura bez zarządzania nie zapewnia zaufania, odpowiedzialności ani kontroli. Katalogi danych bez słowników biznesowych mogą pokazywać, co istnieje, ale nie zawsze wyjaśniają, co to oznacza. Słowniki biznesowe bez integracji z modelami mogą definiować terminy, ale nie zawsze łączyć je z rzeczywistymi systemami.

Najsilniejsze organizacje łączą te dziedziny.

Dlatego znaczenie ma połączenie modelowania danych przedsiębiorstwa, katalogu danych, słownika biznesowego oraz natywnych integracji z Microsoft Purview i Collibra w ER/Studio. Pomaga ono organizacjom tworzyć zarządzaną architekturę danych, w której znaczenie biznesowe, metadane, modele, zasady i implementacja pozostają spójne.

W miarę jak środowiska danych stają się coraz bardziej rozproszone, a AI coraz głębiej przenika do procesów decyzyjnych, takie powiązanie będzie miało jeszcze większe znaczenie.

Sukces odniosą nie organizacje posiadające najwięcej artefaktów zarządzania, lecz te, które połączą zarządzanie ze sposobem, w jaki dane są faktycznie projektowane, zarządzane i wykorzystywane.

Dowiedz się więcej o ER/Studio.

Zaufali nam: