Marnujesz miliony? Zacznij mierzyć sukces AI za pomocą 7 wskaźników

AI przynosi ogromne zyski: dokładnie 46,4% ubiegłorocznego finansowania kapitału wysokiego ryzyka. Jednak mimo napływu pieniędzy kadra kierownicza najwyższego szczebla ma trudności z dostrzeżeniem, w jaki sposób AI napędza transformację biznesową.

Ponad połowa liderów IT twierdzi, że wykazanie zwrotu z inwestycji jest ich największym wyzwaniem, zwłaszcza że RAND Corporation prognozuje, że 80% projektów AI zakończy się niepowodzeniem, powodując przy tym straty idące w miliardy.

Stephen Mann, główny analityk i dyrektor ds. treści w ITSM.tools, wskazuje na większy problem: zaufanie. „Zespoły, które nie ufają AI, to te, które zgłaszają ujemny zwrot z inwestycji w AI. Wygląda to jak łańcuch, w którym wdrażanie AI i zaufanie do niego (lub jego brak) wzajemnie się napędzają” — mówi. Stephen nie jest jedyną osobą, która to zauważa.

Zespół Google zajmujący się AI również zwrócił uwagę, że generatywna AI różni się od wcześniejszych technologii. Jest bardziej dostępna, a korzystać z niej mogą zarówno zespoły techniczne, jak i nietechniczne. Dlatego musimy przemyśleć sposób pomiaru wydajności AI, ponieważ tradycyjne ramy oceny zwrotu z inwestycji często się nie sprawdzają. 

Przyjrzyjmy się bliżej temu, dlaczego starsze podejścia nie działają, i omówmy siedem wskaźników, które mają znaczenie przy ocenie zwrotu z inwestycji w AI.

Wyzwania związane z pomiarem zwrotu z inwestycji w AI

Firmy uruchamiają średnio 37 projektów pilotażowych AI, a mimo to ponad 30% dyrektorów ds. informatyki przyznaje, że nie ma jasności, które z nich kończą się sukcesem. Działają po omacku, bez solidnych wskaźników łączących działania związane z AI z konkretnymi rezultatami.

Wyodrębnienie wpływu AI może być trudne, ponieważ często jest ona wdrażana równolegle z innymi zmianami technologicznymi lub procesowymi, na przykład gdy system zarządzania zapasami oparty na AI wprowadza się wraz z nowym układem sklepu. Tradycyjne testy A/B mają trudności z oceną wyników, gdy jednocześnie wpływa na nie wiele czynników (AI, marketing, przeprojektowanie).

Organizacje zmagają się również z „miękkim zwrotem z inwestycji” — takimi elementami jak kultura innowacji, utrzymanie pracowników, przewaga konkurencyjna i lepsze zarządzanie ryzykiem — które są wartościowe, ale trudne do zmierzenia. Jeśli uwzględnić czas potrzebny na szkolenie, udoskonalanie i utrzymanie AI, staje się jasne, dlaczego dyrektorzy ds. technologii wahają się przed stworzeniem ram oceny zwrotu z inwestycji. Obawa przed ujemnymi wynikami w krótkim okresie, nasilana przez presję inwestorów, dodatkowo komplikuje sytuację.

7 wskaźników pomiaru sukcesu inwestycji w AI 

Michael Porter z Harvardu przedstawił strategiczny model selekcji, który przedsiębiorstwa mogą wykorzystać do oceny przewagi konkurencyjnej swoich projektów AI. Jego model opiera się na przywództwie kosztowym, różnicowaniu i koncentracji, co pomaga organizacjom dostarczać wysoce wyspecjalizowane produkty i usługi na niszowych rynkach. 

Dla dyrektorów ds. technologii zrozumienie, w jaki sposób ich projekty AI wpisują się w te obszary, ma kluczowe znaczenie dla uzasadnienia inwestycji i osiągania mierzalnych rezultatów. Oto siedem wskaźników i OKR-ów pozwalających zdefiniować sukces AI:

1. Krótszy czas wprowadzenia na rynek (TTM)

Czas wprowadzenia na rynek oznacza szybsze wprowadzenie produktu lub usługi na rynek — od początkowej koncepcji do końcowego wdrożenia — dzięki wykorzystaniu AI do przyspieszenia każdego etapu. Im szybciej rozpoczniesz sprzedaż, tym wcześniej zaczniesz generować przychody: jeśli AI pomoże skrócić czas opracowywania z 18 do 12 miesięcy, zyskasz dodatkowe 6 miesięcy potencjalnych przychodów. To ogromna korzyść, jeśli chodzi o poprawę wyników finansowych i zdobywanie udziału w rynku. 

Jak mierzyć TTM 

• Czas od koncepcji do uruchomienia: Mierz, ile czasu mija od zatwierdzenia pomysłu do wprowadzenia go na rynek.
• Czas trwania cyklu iteracji: Mierz tempo projektowania, testowania i udoskonalania.
• Współczynnik czasu do uzyskania wartości: Porównuj, jak szybko produkt lub funkcja zaczynają przynosić zwrot.
• Wskaźnik efektywności zasobów (REI): Oceniaj liczbę zaoszczędzonych lub ponownie przydzielonych roboczogodzin.

2. Przepustowość procesów 

Śledzenie przepustowości procesów jest niezbędne do pomiaru efektywności przetwarzania zadań w określonym czasie. Odzwierciedla zdolność systemu do obsługi obciążeń oraz wpływa na ogólną wydajność i efektywność.

Jak mierzyć przepustowość procesów

• Wolumen na jednostkę czasu (VPTU): Śledź liczbę ukończonych zadań lub transakcji przed wdrożeniem AI i po nim.
• Koszt transakcji: Analizuj wpływ AI na wydatki na zasoby przy większych wolumenach.
• Utrzymanie szczytowej wydajności: Monitoruj, jak długo system utrzymuje maksymalną przepustowość.
• Czas przywracania sprawności: Oceniaj, jak szybko procesy wracają do działania po zakłóceniach.

3. Doświadczenia pracowników i klientów 

Każda inicjatywa związana z AI ostatecznie służy jednej z dwóch grup: pracownikom lub klientom. Ich utrzymanie, produktywność, satysfakcja i zaangażowanie są rzeczywistymi wskaźnikami sukcesu oraz tego, czy zarząd i kadra kierownicza wyższego szczebla zaakceptują AI. 

W przypadku pracowników AI powinno automatyzować powtarzalne zadania i usprawniać przepływy pracy, zapewniając im więcej czasu na skupienie się na pracy strategicznej i przynoszącej wysoką wartość. AI może również optymalizować rozdzielanie obciążenia pracą – na przykład wtedy, gdy narzędzie do zarządzania oparte na AI sygnalizuje, że pracownicy spędzają zbyt dużo czasu na spotkaniach i zbyt mało na pracy wymagającej skupienia.

W przypadku klientów projekty związane z AI powinny koncentrować się na tworzeniu bezproblemowych doświadczeń. Korzyści obejmują większą lojalność, dłuższy czas pozostawania klientów oraz stały napływ poleceń – wszystkie te elementy mają kluczowe znaczenie dla długoterminowego rozwoju firmy. Gdy te elementy współgrają, rezultatem jest dodatni zwrot z inwestycji, a organizacja staje się elastyczna, skoncentrowana na kliencie i zdolna do wzmacniania pozycji wszystkich zaangażowanych interesariuszy. 

Jak mierzyć doświadczenia pracowników (EX), aby określić sukces AI 

• Porównuj wskaźniki utrzymania pracowników przed wdrożeniem AI i po nim
• Śledź utrzymanie pracowników na stanowiskach wspomaganych przez AI w porównaniu ze stanowiskami niewspomaganymi przez AI
• Monitoruj przyczyny dobrowolnych odejść
• Wskaźnik rekomendacji pracodawcy netto (eNPS) 
• Czas osiągnięcia produktywności przez nowo zatrudnione osoby 

Jak mierzyć doświadczenia klientów (CX) 

• Wyniki NPS i CSAT 
• Rozwiązanie sprawy przy pierwszym kontakcie (FCR) oraz czas odpowiedzi klientom 
• Analiza nastrojów i emocji w mediach społecznościowych 
• Wskaźniki utrzymania klientów i rezygnacji z usług 
• Przyrostowe zmiany wartości klienta w całym okresie jego relacji z firmą przed wdrożeniem AI i po nim 

4. Wpływ długu technicznego (TDI)

Wpływ długu technicznego (TDI) mierzy, jak nagromadzone skróty i nieefektywności wpływają na wydajność, łatwość utrzymania i skalowalność systemu AI lub, przeciwnie, jak samo AI przyczynia się do narastającego długu technicznego przedsiębiorstwa. 

To kluczowy wskaźnik, ponieważ dług technologiczny już pochłania 30% budżetów IT i 20% zasobów ludzkich, a wraz z AI sytuacja tylko się pogarsza. 

W 2025 roku ponad 50% liderów technologicznych spodziewa się, że ich dług technologiczny osiągnie umiarkowany lub poważny poziom, przy czym AI należy do jego najważniejszych czynników. Pomiar TDI umożliwi dyrektorom ds. technologii ograniczenie tych ukrytych kosztów poprzez uzasadnienie refaktoryzacji modeli, optymalizację alokacji zasobów i znalezienie właściwej równowagi między utrzymywaniem starszych systemów a dostarczaniem nowych funkcji opartych na AI.

Jak mierzyć wpływ długu technicznego  

• Opóźnienie potoku danych: Oceniaj opóźnienia w pozyskiwaniu i wstępnym przetwarzaniu danych.
• Czas wdrożenia aktualizacji modelu do środowiska produkcyjnego: Sprawdzaj, jak szybko modele dostosowują się do nowych danych.
• Koszt wnioskowania na predykcję: Obliczaj koszty zasobów obliczeniowych dla każdego wnioskowania AI.
• Wskaźnik usuwania błędów: Monitoruj, jak często pojawiają się problemy z danymi lub modelami i wymagają naprawy.

5. Wykorzystanie zasobów danych

AI jest tak dobra, jak dobre są dane, na których została zbudowana. Niezależnie od tego, czy pracujesz nad inteligencją predykcyjną, czy systemami autonomicznymi, wykorzystanie zasobów danych pokazuje, jak skutecznie AI korzysta z dostępnych danych. 

Im lepsze wykorzystanie, tym większy zasięg AI — przełamuje silosy, ogranicza błędy systematyczne zbiorów danych i dostarcza inteligencję w całym przedsiębiorstwie dzięki integracji danych. 

Jeśli modele nie wykorzystują w pełni zbiorów danych o wysokiej wartości lub, co gorsza, nadmiernie dopasowują się do redundantnych zbiorów, bezpośrednio wpływa to na dokładność, znaczenie strategiczne, a ostatecznie także na powodzenie projektu AI. 

Jak mierzyć wykorzystanie zasobów danych  

• Częstotliwość dostępu do danych: Zmierz, jak często modele AI korzystają z każdego zbioru danych.
• Opóźnienie przetwarzania danych: Śledź czas pobierania i przetwarzania danych w ramach przepływów pracy AI.
• Współczynnik przechowywania względem aktywnego wykorzystania: Porównaj przechowywane dane z danymi aktywnie wykorzystywanymi.
• Współczynnik wykorzystania cech i pochodzenie danych: Zidentyfikuj cechy, które wpływają na wydajność, i zapewnij jakość danych.

6. Redukcja współczynnika błędów (ERR)

Uzyskanie poprawnych danych to tylko połowa sukcesu. Prawdziwym wyzwaniem jest zapewnienie, że dane są oczyszczone i uporządkowane oraz że na dużą skalę dostarczają precyzyjnych, aktualnych i bezstronnych wyników. Redukcja współczynnika błędów ma kluczowe znaczenie w tym procesie. Pokazuje, jak dobrze AI rozwija się poprzez ograniczanie błędów i problemów z jakością, a także sygnalizuje zdolność modelu do uczenia się i adaptacji w czasie. 

Mniejsza liczba błędów w modelach AI oznacza mniejszą potrzebę interwencji zespołów IT, co ułatwia skalowanie AI w różnych działach, gdy obsługuje ono potrzeby specyficzne dla poszczególnych domen. Wykorzystanie narzędzi do monitorowania modeli do śledzenia tych postępów pomaga zapewnić, że AI nie pogarsza się wraz ze wzrostem skali, dając CTO pewność, że AI jest odporne na zmiany w przyszłości, zgodne z celami biznesowymi oraz może konsekwentnie zapewniać satysfakcję klientów i wydajność operacyjną.

Jak mierzyć redukcję współczynnika błędów? 

• Współczynnik błędów bazowy a bieżący: Porównaj początkowy i obecny poziom niedokładności.
• Współczynnik wyników fałszywie dodatnich: Wskaż nieprawidłowe klasyfikacje pozytywne.
• Rozkład błędów: Zidentyfikuj uprzedzenia lub słabe punkty w poszczególnych segmentach danych.
• Zmiana współczynnika błędów: Upewnij się, że wydajność modeli nie pogarsza się po wdrożeniu.
• Efektywność iteracji korygujących: Zmierz, jak szybko ponowne trenowanie ogranicza liczbę błędów.

7. Współczynnik skalowalności

Współczynnik skalowalności decyduje o tym, czy inicjatywa AI będzie się rozwijać, czy też upadnie pod własnym ciężarem i stanie się studnią bez dna. Mierzy on, jak dobrze rozwiązanie AI może rozszerzać się w całej organizacji bez gwałtownego wzrostu kosztów lub złożoności. 

Modele AI mogą zaczynać od niewielkiej skali, ale wraz ze wzrostem adopcji rosną również wymagania dotyczące sieci, pamięci masowej i mocy obliczeniowej. To, co zaczyna się jako konfiguracja chmury hybrydowej, może szybko przerodzić się w kosztowną modernizację — obejmującą między innymi rozbudowę pamięci masowej typu zimnego, modernizację sprzętu lokalnego i rosnące koszty każdego wdrożenia. Zanim się zorientujesz, potencjalny zwrot z inwestycji w AI zostaje zniwelowany przez rozrost infrastruktury.

Jak mierzyć współczynnik skalowalności 

Skalowalność należy mierzyć zarówno w wymiarze technicznym, jak i biznesowym. Oto wskaźniki, które powinni śledzić CTO:

• Wydajność obliczeniowa (FLOPS/wat) oraz skalowalność czasu trenowania
• Opóźnienie wnioskowania oraz koszt pojedynczego wnioskowania
• Obciążenie infrastruktury oraz czas do uzyskania wartości w przypadku wdrożeń
• Zapewnienie, że wzrost nie powoduje gwałtownego wzrostu kosztów pomaga utrzymać AI jako czynnik wzrostu, a nie źródło kosztów.

Wzrost bez skalowalnych podstaw prowadzi do nieefektywności, przez co AI staje się raczej centrum kosztów niż czynnikiem wzrostu.

Zabezpiecz swoje inwestycje w AI na przyszłość 

Zakłócenia napędzane przez AI nie zwalniają, a CTO muszą priorytetowo traktować elastyczność, aby przedstawić przekonujące uzasadnienie biznesowe dla AI. Oznacza to przejście od projektów pilotażowych do wdrożenia w całym przedsiębiorstwie, gdzie agentowa AI wywiera wpływ na wiele obszarów funkcjonalnych.

Zapewnij poparcie, łącząc cele strategiczne z realizacją za pośrednictwem skalowalnej infrastruktury, zdyscyplinowanych praktyk MLOps i struktur zarządzania, które umożliwiają rozwój bez utraty kontroli.

Wykorzystaj te siedem kluczowych wskaźników jako uporządkowany plan działania uzasadniający inwestycje w AI, monitorujący adopcję i optymalizujący wydajność, co potencjalnie może przynieść nawet 3,5-krotny zwrot.

Do tego czasu zapisz się do newslettera The CTO Club, aby otrzymywać więcej planów rozwoju związanych z AI oraz spostrzeżeń wynikających z pracy CTO.