Slösar ni bort miljoner? Börja mäta AI-framgång med 7 mätetal
Kassaflöden möter envisa datapunkter: AI stod för 46,4 % av fjolårets riskkapitalfinansiering, men att bevisa avkastningen på investeringen förblir svårt för många företag som implementerar tekniken.
Förtroende driver AI-framgång: Förtroendeproblem bidrar till svag AI-avkastning. Bristande tillit till AI leder till negativ avkastning på investeringen, vilket understryker vikten av att en organisation känner förtroende för AI-tekniken.
Att tänka om kring AI med Google: Google menar att AI:s unika egenskaper kräver en omprövning av traditionella avkastningsmått, med tanke på teknikens tillgänglighet och potential att förändra resultat.
Framgångens mörker utan tydliga definitioner: Företag genomför i genomsnitt 37 AI-projekt per år men saknar tydlighet kring vad som är framgång, eftersom dagens mätetal inte på ett tillräckligt sätt kopplar AI-initiativ till tydliga resultat.
Problemet med mjuk avkastning: Mjuka avkastningsmått som innovationskultur och konkurrensfördel är värdefulla men försvårar tydlig kvantifiering, vilket innebär att teknikchefer behöver utveckla heltäckande ramverk för avkastning på investeringen.
AI drar in stora pengar: 46,4 % av fjolårets riskkapitalfinansiering, för att vara exakt. Men även när pengarna strömmar in har företagsledningarna svårt att se hur AI driver verksamhetens omvandling.
Mer än hälften av IT-ledarna säger att det största problemet är att bevisa ROI, särskilt eftersom RAND Corporation förutspår att 80 % av AI-projekten kommer att misslyckas och att miljarder går förlorade i processen.
Stephen Mann, chefsanalytiker och innehållsansvarig på ITSM.tools, pekar på ett större problem: förtroende. ”Team som inte litar på AI är de som rapporterar negativ ROI från sina AI-investeringar. Det verkar finnas en kedja där AI-användning och förtroende, eller bristen på det, förstärker varandra”, säger han. Stephen är inte den enda som har lagt märke till detta.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Googles AI-team har också påpekat att generativ AI skiljer sig från tidigare teknik. Den är mer tillgänglig, och både tekniska och icke-tekniska team kan använda den. Därför måste vi tänka om kring hur vi mäter AI-prestanda, eftersom traditionella ROI-ramverk ofta inte räcker till.
Låt oss titta närmare på varför gamla metoder inte fungerar och gå igenom de sju mätvärden som är viktiga när man utvärderar ROI för AI.
Utmaningar med att mäta ROI för AI
Företag lanserar i genomsnitt 37 AI-konceptbevis, men över 30 % av CIO:erna medger att de inte har någon tydlig uppfattning om vilka som lyckas. De arbetar i blindo utan robusta mätvärden som kopplar AI-insatser till konkreta resultat.
Det kan vara svårt att isolera AI:s påverkan eftersom tekniken ofta införs tillsammans med andra teknik- eller processförändringar, till exempel när ett AI-drivet lagersystem rullas ut samtidigt som en ny butiksutformning. Traditionella A/B-tester har svårt att fungera när flera faktorer (AI, marknadsföring och omdesign) påverkar resultaten samtidigt.
Organisationer brottas också med ”mjuk ROI”, såsom en innovationskultur, medarbetarretention, konkurrensfördelar och bättre riskhantering – värdefulla faktorer som är svåra att kvantifiera. När man dessutom räknar in tiden som krävs för att träna, förfina och underhålla AI blir det tydligt varför CTO:er tvekar inför att ta fram ett ROI-ramverk. Rädslan för negativ avkastning på kort sikt under press från investerare förvärrar utmaningen.
7 mätvärden för att mäta framgången med AI-investeringar
Harvards Michael Porter introducerade en strategisk triage som företag kan använda för att bedöma sina AI-projekts konkurrensfördelar. Hans modell bygger på kostnadsledarskap, differentiering och fokus, vilket hjälper organisationer att leverera högspecialiserade produkter och tjänster på nischmarknader.
För CTO:er är det avgörande att förstå hur deras AI-projekt överensstämmer med dessa drivkrafter för att kunna motivera investeringen och skapa mätbara resultat. Här är sju mätvärden och OKR:er för att definiera AI-framgång:
1. Snabbare tid till marknaden (TTM)
Tid till marknaden handlar om att få ut produkten eller tjänsten på marknaden snabbare, från det första konceptet till den slutliga driftsättningen, genom att använda AI för att påskynda varje steg. Ju snabbare ni lanserar, desto tidigare börjar ni generera intäkter: Om AI hjälper till att minska utvecklingstiden från 18 månader till 12 innebär det ytterligare 6 månader med potentiella intäkter. Det är en stor vinst när det gäller att förbättra den ekonomiska utvecklingen och vinna marknadsandelar.
Så mäter du TTM
- Tid från koncept till lansering: Mät hur lång tid det tar från godkännande av idén till lansering på marknaden.
- Iterationstid: Mät hastigheten för design, testning och förfining.
- Förhållandet mellan tid och värde: Jämför hur snabbt en produkt eller funktion börjar generera avkastning.
- Index för resurseffektivitet (REI): Utvärdera hur många arbetstimmar som sparas eller omfördelas.
2. Processgenomströmning
Att följa processgenomströmningen är avgörande för att mäta hur effektivt uppgifter behandlas inom en viss tidsperiod. Det speglar systemets förmåga att hantera arbetsbelastningar och påverkar den övergripande kapaciteten och effektiviteten.
Så mäter du processgenomströmning
- Volym per tidsenhet (VPTU): Spåra slutförda uppgifter eller transaktioner före och efter AI.
- Kostnad per transaktion: Analysera hur AI påverkar resursförbrukningen vid högre volymer.
- Hållbarhet vid maximal prestanda: Övervaka hur länge systemet upprätthåller maximal genomströmning.
- Återhämtningstid: Utvärdera hur snabbt processer återhämtar sig efter störningar.
3. Medarbetar- & kundupplevelse
Varje AI-initiativ riktar sig i slutändan till en av två grupper: medarbetare eller kunder. Deras kvarstannande, produktivitet, nöjdhet och engagemang är de verkliga indikatorerna på framgång och på huruvida AI godkänns av styrelsen och företagsledningen.
För medarbetare bör AI automatisera repetitiva uppgifter och effektivisera arbetsflöden, så att de får mer tid att fokusera på strategiskt arbete och arbete med högt värde. AI kan också optimera fördelningen av arbetsbelastningen – till exempel när ett AI-styrt ledningsverktyg visar att medarbetare lägger för mycket tid på möten och inte tillräckligt med tid på fokuserat arbete.
När det gäller projektens kunder behöver AI-projekt fokusera på att skapa en friktionsfri upplevelse. Resultatet blir ökad lojalitet, längre kundrelationer och ett jämnt flöde av rekommendationer – alla viktiga delar av långsiktig affärstillväxt. När dessa delar samverkar blir resultatet en positiv avkastning på investeringen, med en organisation som är flexibel, kundcentrerad och kapabel att stärka alla berörda intressenter.
Så mäter du medarbetarupplevelsen (EX) för att avgöra AI:s framgång
- Jämför kvarstannandegraden före och efter AI-implementeringen
- Spåra kvarstannandet i AI-förstärkta roller jämfört med roller utan AI-stöd
- Övervaka orsakerna till frivilliga avgångar
- Medarbetarnas nettopromotorpoäng (eNPS)
- Tid till produktivitet för nyanställda
Så mäter du kundupplevelsen (CX)
- NPS- och CSAT-poäng
- Lösning vid första kontakten (FCR) och svarstid till kunder
- Analys av känslor och stämningsläge i sociala medier
- Kundretention och andel kunder som lämnar
- Inkrementella förändringar i kundlivstidsvärdet före och efter AI
4. Den tekniska skuldens påverkan (TDI)
Den tekniska skuldens påverkan (TDI) mäter hur ackumulerade genvägar och ineffektiviteter påverkar ett AI-systems prestanda, underhållbarhet och skalbarhet eller, omvänt, hur AI självt bidrar till ett företags växande tekniska skuld.
Det är ett kritiskt mått, eftersom teknisk skuld redan förbrukar 30 % av IT-budgetarna och 20 % av de mänskliga resurserna, och med AI blir situationen bara värre.
År 2025 förväntar sig över 50 % av teknikledarna att deras tekniska skuld ska nå måttliga till allvarliga nivåer, där AI är en av de mest betydande bidragande faktorerna. Genom att mäta TDI kan CTO:er minska dessa dolda kostnader genom att motivera omstrukturering av modeller, optimera resursfördelningen och hitta rätt balans mellan att underhålla äldre system och leverera nya AI-drivna funktioner.
Så mäter du den tekniska skuldens påverkan
- Fördröjning i datapipeline: Bedöm förseningar i datainhämtning och förbehandling.
- Tid till produktion för modelluppdateringar: Kontrollera hur snabbt modeller anpassar sig till nya data.
- Slutledningskostnad per förutsägelse: Beräkna resurskostnaderna för varje AI-slutledning.
- Frekvens för felkorrigering: Övervaka hur ofta data- eller modellproblem uppstår och kräver åtgärder.
5. Utnyttjande av datatillgångar
AI är bara så bra som de data som det bygger på. Oavsett om du arbetar med prediktiv intelligens eller autonoma system visar utnyttjandet av datatillgångar hur effektivt AI använder tillgängliga data.
Ju högre användning, desto större räckvidd får AI, genom att bryta ned silos, minska snedvridningar i datamängder och leverera intelligens i hela företaget med dataintegration.
Om modeller inte fullt ut utnyttjar datamängder med högt värde eller, ännu värre, överanpassas till redundanta datamängder, påverkar det direkt noggrannheten, den strategiska relevansen och i slutändan framgången för ditt AI-projekt.
Så mäter du användningen av datatillgångar
- Åtkomstfrekvens för data: Mät hur ofta AI-modeller använder varje datamängd.
- Fördröjning vid databearbetning: Följ hämtnings- och bearbetningstider i AI-arbetsflöden.
- Förhållandet mellan lagring och aktiv användning: Jämför lagrade data med data som faktiskt används.
- Användningsgrad för funktioner och datahärkomst: Identifiera vilka funktioner som driver prestandan och säkerställ datakvaliteten.
6. Minskning av felfrekvens (ERR)
Att få data rätt är bara halva kampen. Den verkliga utmaningen är att säkerställa att data är rena och strukturerade samt att leverera precisa, uppdaterade och opartiska resultat i stor skala. Minskad felfrekvens är avgörande för denna process. Den visar hur väl AI utvecklas genom att minska fel och kvalitetsproblem och signalerar modellens förmåga att lära sig och anpassa sig över tid.
Färre fel i AI-modeller innebär mindre behov av att IT-teamen ingriper, vilket gör det enklare att skala AI över avdelningar när den tillgodoser domänspecifika behov. Genom att övervaka denna utveckling säkerställs att AI inte försämras i takt med tillväxten, vilket ger CTO:er förtroende för att AI är framtidssäkrat, ligger i linje med verksamhetens mål och konsekvent kan leverera kundnöjdhet och operativ effektivitet.
Så mäter du minskad felfrekvens?
- Baslinje jämfört med aktuell felfrekvens: Jämför de ursprungliga nivåerna av felaktighet med dagens nivåer.
- Andel falska positiva: Identifiera felaktiga positiva klassificeringar.
- Felfördelning: Identifiera snedvridningar eller svaga punkter i olika datasegment.
- Förändring i felfrekvens: Säkerställ att modeller inte försämras efter driftsättning.
- Effektivitet i korrigerande iterationer: Mät hur snabbt omträning minskar antalet fel.
7. Skalbarhetskoefficient
Skalbarhetskoefficienten är skillnaden mellan ett AI-initiativ som blomstrar och ett som kollapsar under sin egen tyngd och blir ett kostnadsslukande projekt. Den mäter hur väl en AI-lösning kan expandera i en organisation utan att kostnaderna eller komplexiteten skjuter i höjden.
AI-modeller kan börja i liten skala, men när användningen ökar ökar även kraven på nätverk, lagring och processorkraft. Det som börjar som en hybridmoln-lösning kan snabbt utvecklas till en kostsam total översyn – med exempelvis utökad kallagring, uppgraderingar av lokal maskinvara och ökande kostnader per driftsättning. Innan du vet ordet av har AI:s potentiella avkastning på investeringen motverkats av infrastruktursprawl.
Så mäter du skalbarhetskoefficienten
Skalbarhet måste mätas utifrån både tekniska och affärsmässiga dimensioner. Här är vad CTO:er bör följa:
- Beräkningseffektivitet (FLOPS/watt) och skalbarhet för träningstid
- Inferensfördröjning och kostnad per inferens
- Infrastrukturens omkostnader och tid till värde för driftsättningar
- Att säkerställa att tillväxten inte får kostnaderna att skjuta i höjden hjälper AI att förbli en tillväxtmotor, inte en kostnadsbelastning.
Tillväxt utan en skalbar grund leder till ineffektivitet, vilket gör AI mer till en kostnadsfunktion än en tillväxtmotor.
Framtidssäkra dina AI-investeringar
AI-driven omvälvning saktar inte ned, och CTO:er måste prioritera flexibilitet för att bygga ett övertygande affärsunderlag för AI. Det innebär att gå från pilotprojekt till införande i hela företaget, där agentisk AI driver tvärfunktionell påverkan.
Säkra stöd genom att anpassa strategiska mål till genomförandet med hjälp av skalbar infrastruktur, disciplinerat MLOps-arbete och styrningsramverk som möjliggör tillväxt utan att kontrollen går förlorad.
Använd dessa sju nyckeltal som en strukturerad färdplan för att motivera AI-investeringar, övervaka användningen och optimera prestandan, vilket potentiellt kan ge upp till 3,5X avkastning.
Tills dess kan du prenumerera på The CTO Clubs nyhetsbrev för fler tillväxtplaner om AI och insikter drivna av CTO:er.
