Miljoenen verspillen? Begin het AI-succes te meten met 7 statistieken

AI brengt veel geld op: om precies te zijn 46,4% van de durfkapitaalfinanciering van vorig jaar. Maar ondanks de geldstroom heeft de directie moeite om te zien hoe AI bedrijfstransformatie stimuleert.

Meer dan de helft van de IT-leiders zegt dat het aantonen van ROI hun grootste uitdaging is, vooral omdat RAND Corporation voorspelt dat 80% van de AI-projecten zal mislukken, waarbij miljarden worden verbrand.

Stephen Mann, hoofdanalist en contentdirecteur bij ITSM.tools, wijst op een groter probleem: vertrouwen. “Teams die AI niet vertrouwen, zijn de teams die een negatieve ROI op hun AI-investeringen rapporteren. Het lijkt een keten te zijn waarin AI-adoptie en vertrouwen (of het gebrek daaraan) elkaar versterken,” zegt hij. Stephen is niet de enige die dit opmerkt.

Het AI-team van Google heeft er ook op gewezen dat generatieve AI anders is dan eerdere technologie. De technologie is toegankelijker en zowel technische als niet-technische teams kunnen haar gebruiken. Daarom moeten we opnieuw nadenken over hoe we AI-prestaties meten, omdat traditionele ROI-kaders vaak tekortschieten. 

Laten we nader bekijken waarom oude benaderingen niet werken en de zeven maatstaven bespreken die van belang zijn bij het evalueren van AI-ROI.

Uitdagingen bij het meten van AI-ROI

Bedrijven starten gemiddeld 37 AI-POC's, maar meer dan 30% van de CIO's geeft toe geen duidelijk beeld te hebben van welke daarvan succesvol zijn. Ze opereren in het duister zonder robuuste maatstaven die AI-inspanningen koppelen aan tastbare resultaten.

Het isoleren van de impact van AI kan lastig zijn omdat AI vaak wordt ingezet naast andere technologische of procesmatige veranderingen, zoals een AI-gestuurd voorraadbeheersysteem dat tegelijk met een nieuwe winkelindeling wordt uitgerold. Traditioneel A/B-testen heeft moeite wanneer meerdere factoren (AI, marketing, herontwerpen) tegelijkertijd invloed hebben op de uitkomsten.

Organisaties worstelen ook met “zachte ROI”, zoals een innovatiecultuur, het behouden van medewerkers, een concurrentievoordeel en beter risicobeheer: waardevol, maar moeilijk te kwantificeren. Tel daar de tijd bij op die nodig is om AI te trainen, te verfijnen en te onderhouden, en het is duidelijk waarom CTO's aarzelen om een ROI-kader op te stellen. De angst voor negatieve kortetermijnrendementen onder druk van investeerders maakt de uitdaging nog groter.

7 maatstaven om het succes van AI-investeringen te meten 

Michael Porter van Harvard introduceerde een strategische triage die ondernemingen kunnen gebruiken om het concurrentievoordeel van hun AI-projecten te beoordelen. Zijn model is gebaseerd op kostenleiderschap, differentiatie en focus, waarmee organisaties zeer gespecialiseerde producten en diensten kunnen leveren in nichemarkten. 

Voor CTO's is inzicht in de manier waarop hun AI-projecten op deze hefbomen aansluiten cruciaal om investeringen te rechtvaardigen en meetbare resultaten te behalen. Hier zijn zeven maatstaven en OKR's om AI-succes te definiëren:

1. Kortere marktintroductietijd (TTM)

Marktintroductietijd draait om het sneller op de markt brengen van je product of dienst, van het eerste concept tot de uiteindelijke implementatie, door AI te gebruiken om elke stap te versnellen. Hoe sneller je lanceert, hoe eerder je inkomsten begint te genereren: als AI helpt de ontwikkelingstijd terug te brengen van 18 naar 12 maanden, levert dat 6 extra maanden aan potentiële inkomsten op. En dat is een enorme winst als het gaat om het verbeteren van de financiële prestaties en het vergroten van het marktaandeel. 

Hoe meet je TTM 

• Doorlooptijd van concept tot lancering: Houd bij hoe lang het duurt om van goedkeuring van het idee tot marktintroductie te komen.
• Doorlooptijd van iteratiecycli: Meet de snelheid van ontwerp, testen en verfijning.
• Verhouding tussen tijd en waarde: Vergelijk hoe snel een product of functie rendement begint te genereren.
• Efficiëntie-index van middelen (REI): Beoordeel hoeveel manuren worden bespaard of opnieuw ingezet.

2. Procesdoorvoer 

Het bijhouden van de procesdoorvoer is essentieel om te meten hoe efficiënt taken binnen een bepaalde tijd worden verwerkt. Het weerspiegelt het vermogen van je systeem om werklasten te verwerken en beïnvloedt de algehele capaciteit en efficiëntie.

Hoe meet je de procesdoorvoer

• Volume per tijdseenheid (VPTU): Houd voltooide taken of transacties voor en na AI bij.
• Kosten per transactie: Analyseer hoe AI de besteding van middelen bij hogere volumes beïnvloedt.
• Duurzaamheid van piekprestaties: Houd bij hoe lang het systeem maximale doorvoer handhaaft.
• Hersteltijd: Beoordeel hoe snel processen zich na verstoringen herstellen.

3. Werknemers- & klantervaring 

Elk AI-initiatief is uiteindelijk gericht op een van twee groepen: werknemers of klanten. Hun behoud, productiviteit, tevredenheid en betrokkenheid zijn de echte indicatoren van succes en bepalen of AI door het bestuur en de C-suite wordt goedgekeurd. 

Voor werknemers moet AI repetitieve taken automatiseren en werkprocessen stroomlijnen, zodat zij meer tijd hebben om zich te richten op strategisch werk en werk met een hoge toegevoegde waarde. AI kan ook de verdeling van de werklast optimaliseren – bijvoorbeeld wanneer een door AI aangestuurde managementtool signaleert dat werknemers te veel tijd aan vergaderingen besteden en te weinig aan geconcentreerd werk.

Bij projecten aan de klantzijde moeten AI-projecten gericht zijn op het creëren van een frictieloze ervaring. De opbrengst bestaat uit een grotere loyaliteit, langere klantrelaties en een gestage stroom doorverwijzingen – allemaal cruciale onderdelen van bedrijfsgroei op lange termijn. Wanneer deze elementen samenkomen, is het resultaat een positieve ROI, met een organisatie die wendbaar en klantgericht is en alle betrokken belanghebbenden in staat stelt hun potentieel te benutten. 

Hoe meet je de werknemerservaring (EX) om AI-succes te bepalen 

• Vergelijk retentiepercentages voor en na de implementatie van AI
• Houd retentie bij in functies die wel en niet door AI worden ondersteund
• Houd redenen voor vrijwillig vertrek in de gaten
• Net Promoter-scores van werknemers (eNPS) 
• Tijd tot productiviteit voor nieuwe medewerkers 

Hoe meet je de klantervaring (CX) 

• NPS- en CSAT-scores 
• Oplossing bij het eerste contact (FCR) en responstijd voor klanten 
• Analyse van sentiment en emoties op sociale media 
• Klantretentie en churnpercentages 
• Incrementele veranderingen in de klantlevensduurwaarde voor en na AI 

4. Impact van technische schuld (TDI)

De impact van technische schuld (TDI) meet hoe opgehoopte kortetermijnoplossingen en inefficiënties de prestaties, onderhoudbaarheid en schaalbaarheid van een AI-systeem beïnvloeden, of juist hoe AI zelf bijdraagt aan de toenemende technische schuld van een onderneming. 

Het is een kritieke maatstaf, aangezien technische schuld al 30% van de IT-budgetten en 20% van de personeelsmiddelen opslokt, en AI dit probleem alleen maar verergert. 

In 2025 verwacht meer dan 50% van de technologieleiders dat hun technische schuld een gematigd tot ernstig niveau bereikt, waarbij AI een van de belangrijkste bijdragers is. Door TDI te meten kunnen CTO's deze verborgen kosten verlagen door het herstructureren van modellen te rechtvaardigen, de toewijzing van middelen te optimaliseren en de juiste balans te vinden tussen het onderhouden van verouderde systemen en het leveren van nieuwe AI-gestuurde mogelijkheden.

Hoe meet je de impact van technische schuld  

• Latentie van de datapijplijn: Beoordeel vertragingen bij gegevensinname en voorbewerking.
• Tijd tot productie voor modelupdates: Controleer hoe snel modellen zich aanpassen aan nieuwe gegevens.
• Inferentiekosten per voorspelling: Bereken de kosten van computerbronnen voor elke AI-inferentie.
• Foutherstelpercentage: Houd bij hoe vaak problemen met gegevens of modellen ontstaan en moeten worden opgelost.

5. Benutting van gegevensactiva

AI is slechts zo goed als de gegevens waarop het is gebaseerd. Of je nu werkt aan voorspellende intelligentie of autonome systemen, het gebruik van gegevensmiddelen laat zien hoe effectief AI beschikbare gegevens gebruikt. 

Hoe beter het gebruik, hoe groter het bereik van AI: datasilo’s worden afgebroken, vertekeningen in datasets worden beperkt en organisatiebrede intelligentie wordt geleverd met gegevensintegratie. 

Als modellen waardevolle datasets niet volledig benutten of, erger nog, overmatig worden aangepast aan redundante datasets, heeft dat rechtstreeks invloed op de nauwkeurigheid, strategische relevantie en uiteindelijk het succes van je AI-project. 

Hoe meet je het gebruik van gegevensmiddelen?  

• Frequentie van gegevenstoegang: Meet hoe vaak AI-modellen toegang krijgen tot elke dataset.
• Latentie van gegevensverwerking: Houd de ophaal- en verwerkingstijden in AI-werkstromen bij.
• Verhouding tussen opslag en actief gebruik: Vergelijk opgeslagen gegevens met actief gebruikte gegevens.
• Gebruikssnelheid van kenmerken & gegevensherkomst: Bepaal welke kenmerken de prestaties stimuleren en waarborg de gegevenskwaliteit.

6. Reductie van het foutenpercentage (ERR)

De gegevens goed krijgen is slechts de helft van de strijd. De echte uitdaging is ervoor zorgen dat gegevens schoon en gestructureerd zijn en op schaal nauwkeurige, actuele en onbevooroordeelde resultaten opleveren. Het verminderen van het foutenpercentage is essentieel voor dit proces. Het laat zien hoe goed AI zich ontwikkelt door fouten en kwaliteitsproblemen te verminderen en geeft aan in hoeverre het model in de loop der tijd kan leren en zich kan aanpassen. 

Minder fouten in AI-modellen betekenen dat IT-teams minder vaak hoeven in te grijpen, waardoor AI gemakkelijker in verschillende afdelingen kan worden opgeschaald terwijl het aan domeinspecifieke behoeften voldoet. Het gebruik van hulpmiddelen voor modelmonitoring om deze voortgang bij te houden, helpt ervoor te zorgen dat AI niet verslechtert naarmate het gebruik groeit. Zo krijgen CTO’s het vertrouwen dat AI toekomstbestendig is, aansluit bij bedrijfsdoelen en consistent klanttevredenheid en operationele efficiëntie kan leveren.

Hoe meet je de reductie van het foutenpercentage? 

• Basisfoutenpercentage versus huidig foutenpercentage: Vergelijk de aanvankelijke met de huidige onnauwkeurigheidsniveaus.
• Percentage valse positieven: Breng onjuiste positieve classificaties in kaart.
• Foutenverdeling: Identificeer vertekeningen of zwakke plekken in verschillende gegevenssegmenten.
• Verandering in het foutenpercentage: Zorg ervoor dat modellen na implementatie niet verslechteren.
• Efficiëntie van corrigerende iteraties: Meet hoe snel hertraining fouten vermindert.

7. Schaalbaarheidscoëfficiënt

De schaalbaarheidscoëfficiënt maakt het verschil tussen een AI-initiatief dat floreert en een initiatief dat bezwijkt onder zijn eigen gewicht en een bodemloze put wordt. Deze meet hoe goed een AI-oplossing binnen een organisatie kan worden uitgebreid zonder dat kosten of complexiteit de pan uit rijzen. 

AI-modellen beginnen misschien klein, maar naarmate de toepassing groeit, nemen ook de eisen aan netwerken, opslag en verwerkingscapaciteit toe. Wat begint als een hybride cloud-opstelling kan al snel uitgroeien tot een dure grootschalige herziening—denk aan uitbreidingen van koude opslag, upgrades van hardware op locatie en stijgende kosten per implementatie. Voor je het weet, wordt de potentiële ROI van AI tenietgedaan door infrastructuuruitwaaiering.

Hoe meet je de schaalbaarheidscoëfficiënt? 

Schaalbaarheid moet zowel op technisch als op zakelijk vlak worden gemeten. Dit is wat CTO’s moeten bijhouden:

• Rekenkundige efficiëntie (FLOPS/watt) en schaalbaarheid van de trainingstijd
• Inferentielatentie en kosten per inferentie
• Infrastructuuroverhead en tijd tot waarde voor implementaties
• Ervoor zorgen dat groei de kosten niet de pan uit laat rijzen helpt AI een groeimotor te blijven en geen kostenpost te worden.

Groei zonder een schaalbare basis leidt tot inefficiënties, waardoor AI eerder een kostenpost dan een groeimotor wordt.

Maak je AI-investeringen toekomstbestendig 

De door AI geleide ontwrichting vertraagt niet en CTO’s moeten wendbaarheid prioriteit geven om een overtuigende businesscase voor AI te maken. Dat betekent dat de overstap moet worden gemaakt van proefprojecten naar organisatiebrede toepassing, waarbij agentische AI impact over verschillende functies heen genereert.

Zorg voor draagvlak door strategische doelen af te stemmen op de uitvoering via schaalbare infrastructuur, gedisciplineerde MLOps en governancekaders die groei mogelijk maken zonder de controle op te offeren.

Gebruik deze zeven belangrijke statistieken als een gestructureerde routekaart om AI-investeringen te onderbouwen, de toepassing te monitoren en prestaties te optimaliseren, wat mogelijk tot 3.5X rendement kan opleveren.

Abonneer je tot die tijd op de nieuwsbrief van The CTO Club voor meer groeiplannen rond AI en inzichten vanuit CTO's.