Sløser du bort millioner? Begynn å måle AI-suksess med 7 måltall

AI håver inn penger: 46,4 % av fjorårets venturekapitalfinansiering, for å være presis. Men selv med penger som strømmer inn, sliter toppledelsen med å se hvordan AI driver forretningsomforming.

Mer enn halvparten av IT-lederne sier at det å dokumentere ROI er deres største utfordring, særlig fordi RAND Corporation anslår at 80 % av AI-prosjektene vil mislykkes, og at milliarder går tapt i prosessen.

Stephen Mann, sjefanalytiker og innholdsdirektør i ITSM.tools, peker på et større problem: tillit. «Team som ikke stoler på AI, er de som rapporterer negativ ROI fra AI-investeringene sine. Det ser ut til å være en kjede der AI-adopsjon og tillit (eller mangel på sådan) gjensidig forsterker hverandre», sier han. Stephen er ikke den eneste som har lagt merke til dette.

AI-teamet hos Google har også påpekt at generativ AI skiller seg fra tidligere teknologi. Den er mer tilgjengelig, og både tekniske og ikke-tekniske team kan bruke den. Derfor må vi tenke nytt om hvordan vi måler AI-ytelse, ettersom tradisjonelle ROI-rammeverk ofte kommer til kort. 

La oss se nærmere på hvorfor gamle tilnærminger ikke fungerer, og diskutere de sju målene som betyr noe når man evaluerer AI-ROI.

Utfordringer med måling av AI-ROI

Virksomheter lanserer i gjennomsnitt 37 AI-POC-er, men over 30 % av CIO-ene innrømmer at de ikke har en klar idé om hvilke av dem som lykkes. De opererer i blinde uten robuste måltall som knytter AI-innsatsen til konkrete resultater.

Det kan være vanskelig å isolere effekten av AI fordi den ofte tas i bruk sammen med andre teknologi- eller prosessendringer, for eksempel et AI-drevet lagersystem som rulles ut samtidig med et nytt butikkoppsett. Tradisjonell A/B-testing kommer til kort når flere faktorer (AI, markedsføring, redesign) påvirker resultatene samtidig.

Organisasjoner sliter også med «myk ROI», som en innovasjonskultur, medarbeiderbevaring, konkurransefortrinn og bedre risikostyring – verdifulle forhold som er vanskelige å kvantifisere. Når man tar med tiden det tar å lære opp, forbedre og vedlikeholde AI, er det tydelig hvorfor CTO-er nøler med å utvikle et ROI-rammeverk. Frykten for negativ avkastning på kort sikt under press fra investorer forsterker utfordringen.

7 måltall for å måle hvor vellykkede AI-investeringer er 

Michael Porter fra Harvard introduserte en strategisk sortering som virksomheter kan bruke til å vurdere konkurransefortrinnet i AI-prosjektene sine. Modellen hans bygger på kostnadslederskap, differensiering og fokus, som hjelper organisasjoner med å levere høyt spesialiserte produkter og tjenester i nisjemarkeder. 

For CTO-er er det avgjørende å forstå hvordan AI-prosjektene deres samsvarer med disse faktorene, for å begrunne investeringen og skape målbare resultater. Her er sju måltall og OKR-er som kan definere AI-suksess:

1. Kortere tid til markedet (TTM)

Tid til markedet handler om å få produktet eller tjenesten raskere ut på markedet, fra det første konseptet til endelig lansering, ved å bruke AI til å fremskynde hvert trinn. Jo raskere du lanserer, desto tidligere begynner du å tjene inntekter: Hvis AI bidrar til å redusere utviklingstiden fra 18 måneder til 12, får du 6 ekstra måneder med potensielle inntekter. Og det er en stor gevinst når det gjelder å forbedre de økonomiske resultatene og øke markedsandelen. 

Slik måler du TTM 

• Varighet fra konsept til lansering: Mål hvor lang tid det tar fra en idé er godkjent til den lanseres i markedet.
• Syklustid for iterasjoner: Mål hastigheten på design, testing og forbedring.
• Forholdet mellom tid og verdi: Sammenlign hvor raskt et produkt eller en funksjon begynner å gi avkastning.
• Indeks for ressurseffektivitet (REI): Vurder sparte eller omdisponerte arbeidstimer.

2. Prosessgjennomstrømning 

Det er viktig å følge med på prosessgjennomstrømningen for å måle hvor effektivt oppgaver behandles innenfor en gitt tidsperiode. Den gjenspeiler systemets evne til å håndtere arbeidsmengder og påvirker den samlede kapasiteten og effektiviteten.

Slik måler du prosessgjennomstrømning

• Volum per tidsenhet (VPTU): Spor fullførte oppgaver eller transaksjoner før og etter AI.
• Kostnad per transaksjon: Analyser hvordan AI påvirker ressursforbruket ved høyere volumer.
• Bærekraft for toppytelse: Overvåk hvor lenge systemet opprettholder maksimal gjennomstrømning.
• Gjenopprettingstid: Evaluer hvor raskt prosessene kommer tilbake etter forstyrrelser.

3. Medarbeider- og kundeopplevelse 

Alle AI-initiativer tjener til syvende og sist én av to grupper: medarbeidere eller kunder. Deres lojalitet, produktivitet, tilfredshet og engasjement er de reelle indikatorene på suksess og på hvorvidt AI blir godkjent av styret og toppledelsen. 

For medarbeidere bør AI automatisere repetitive oppgaver og effektivisere arbeidsflyter, slik at de får mer tid til å fokusere på strategisk arbeid og arbeid med høy verdi. AI kan også optimalisere fordelingen av arbeidsbelastningen – for eksempel når et AI-styrt administrasjonsverktøy varsler at medarbeidere bruker for mye tid i møter og ikke nok tid på konsentrert arbeid.

På kundesiden av prosjekter må AI-prosjekter fokusere på å skape en friksjonsfri opplevelse. Gevinsten kommer i form av økt lojalitet, lengre kundeforhold og en jevn strøm av anbefalinger – alt sammen kritiske komponenter i langsiktig forretningsvekst. Når disse elementene kommer sammen, blir resultatet en positiv ROI, med en organisasjon som er smidig, kundesentrert og i stand til å styrke alle involverte interessenter. 

Slik måler du medarbeideropplevelsen (EX) for å avgjøre om AI lykkes 

• Sammenlign lojalitetsrater før og etter implementeringen av AI
• Følg med på lojaliteten i AI-forsterkede roller sammenlignet med roller uten AI-støtte
• Overvåk årsakene til frivillig avgang
• Medarbeidernes anbefalingsscore (eNPS) 
• Tid til produktivitet for nyansatte 

Slik måler du kundeopplevelsen (CX) 

• NPS- og CSAT-skårer 
• Løsning ved første kontakt (FCR) og svartid til kunder 
• Analyse av holdninger og følelser i sosiale medier 
• Kundelojalitet og frafallsrater 
• Trinnvise endringer i kundens livstidsverdi før og etter AI 

4. Effekt av teknisk gjeld (TDI)

Effekten av teknisk gjeld (TDI) måler hvordan oppsamlede snarveier og ineffektivitet påvirker ytelsen, vedlikeholdbarheten og skalerbarheten til et AI-system, eller omvendt hvordan AI selv bidrar til en virksomhets økende tekniske gjeld. 

Dette er et kritisk måltall, ettersom teknisk gjeld allerede forbruker 30% av IT-budsjettene og 20% av menneskelige ressurser, og med AI blir situasjonen bare verre. 

I 2025 forventer over 50% av teknologilederne at den tekniske gjelden deres vil nå moderate til alvorlige nivåer, der AI er blant de viktigste bidragsyterne. Måling av TDI gjør det mulig for CTO-er å redusere disse skjulte kostnadene ved å begrunne omstrukturering av modeller, optimalisere ressursfordelingen og finne den rette balansen mellom å vedlikeholde eldre systemer og levere nye AI-drevne funksjoner.

Slik måler du effekten av teknisk gjeld  

• Forsinkelse i datapipeline: Vurder forsinkelser i datainnhenting og forbehandling.
• Tid til produksjon for modelloppdateringer: Kontroller hvor raskt modellene tilpasser seg nye data.
• Inferenskostnad per prediksjon: Beregn ressurskostnadene for hver AI-inferens.
• Feilrettingsrate: Overvåk hvor ofte data- eller modellproblemer oppstår og krever feilretting.

5. Utnyttelse av dataressurser

AI er bare så god som dataene den er bygget på. Enten du arbeider med prediktiv intelligens eller autonome systemer, forteller utnyttelse av dataressurser deg hvor effektivt AI bruker tilgjengelige data. 

Jo bedre utnyttelsen er, desto større blir AI-enes rekkevidde, ved at datasiloer brytes ned, skjevheter i datasett reduseres, og intelligens på tvers av virksomheten leveres med dataintegrasjon. 

Hvis modellene ikke utnytter datasett med høy verdi fullt ut, eller enda verre, overtilpasser seg til redundante datasett, påvirker det direkte nøyaktigheten, den strategiske relevansen og til syvende og sist suksessen til AI-prosjektet ditt. 

Slik måler du utnyttelse av dataressurser  

• Frekvens for datatilgang: Mål hvor ofte AI-modeller bruker hvert datasett.
• Forsinkelse i databehandlingen: Følg med på hente- og behandlingstider i AI-arbeidsflyter.
• Forholdet mellom lagring og aktiv utnyttelse: Sammenlign lagrede data med data som brukes aktivt.
• Funksjonsbruksrate og dataopprinnelse: Identifiser hvilke funksjoner som driver ytelsen, og sørg for datakvalitet.

6. Reduksjon i feilrate (ERR)

Å få dataene riktige er bare halve kampen. Den virkelige utfordringen er å sikre at dataene er rene og strukturerte, og at de leverer presise, oppdaterte og objektive resultater i stor skala. Reduksjon i feilrate er avgjørende for denne prosessen. Det gjenspeiler hvor godt AI utvikler seg ved å redusere feil og kvalitetsproblemer, og signaliserer modellens evne til å lære og tilpasse seg over tid. 

Færre feil i AI-modeller betyr mindre behov for at IT-team må gripe inn, noe som gjør det enklere å skalere AI på tvers av avdelinger etter hvert som den dekker domenespesifikke behov. Ved å bruke verktøy for modellovervåking til å følge denne utviklingen kan du sikre at AI ikke forringes med veksten, slik at CTO-er kan ha tillit til at AI er fremtidssikret, i tråd med virksomhetens mål og i stand til å levere kundetilfredshet og driftseffektivitet på en stabil måte.

Slik måler du reduksjon i feilrate? 

• Utgangsverdi sammenlignet med nåværende feilrate: Sammenlign det opprinnelige nivået med dagens unøyaktighetsnivå.
• Frekvens for falske positive: Finn feilaktige positive klassifiseringer.
• Feilfordeling: Identifiser skjevheter eller svake punkter på tvers av datasegmenter.
• Endring i feilrate: Sørg for at modellene ikke forringes etter implementering.
• Effektivitet ved korrigerende iterasjoner: Mål hvor raskt ny trening reduserer feil.

7. Skalerbarhetskoeffisient

Skalerbarhetskoeffisienten er forskjellen mellom et AI-initiativ som lykkes, og et som kollapser under sin egen vekt og blir et pengesluk. Den måler hvor godt en AI-løsning kan utvides i en virksomhet uten at kostnadene eller kompleksiteten skyter i været. 

AI-modeller kan starte i det små, men etter hvert som bruken øker, øker også kravene til nettverk, lagring og prosessorkraft. Det som starter som et hybridsky-oppsett, kan raskt bli en kostbar overhaling – tenk utvidelse av kaldlagring, oppgraderinger av lokal maskinvare og økte kostnader per implementering. Før du vet ordet av det, blir den potensielle avkastningen på AI-investeringen oppveid av infrastrukturspredning.

Slik måler du skalerbarhetskoeffisienten 

Skalerbarhet må måles på tvers av både tekniske og forretningsmessige dimensjoner. Dette bør CTO-er følge med på:

• Beregningseffektivitet (FLOPS/watt) og skalerbarhet for treningstid
• Inferensforsinkelse og kostnad per inferens
• Infrastrukturoverhead og tid til verdiskaping for implementeringer
• Å sikre at vekst ikke får kostnadene til å skyte i været bidrar til at AI forblir en vekstdriver, ikke et kostnadssluk.

Vekst uten et skalerbart fundament fører til ineffektivitet og gjør AI mer til et kostnadssenter enn en vekstdriver.

Fremtidssikre AI-investeringene dine 

AI-drevet omstilling bremser ikke opp, og CTO-er må prioritere smidighet for å bygge en overbevisende forretningssak for AI. Det betyr å gå fra pilotprosjekter til bruk i hele virksomheten, der agentisk AI driver effekt på tvers av funksjoner.

Sikre oppslutning ved å samordne strategiske mål med gjennomføring gjennom skalerbar infrastruktur, disiplinert MLOps og styringsrammeverk som muliggjør vekst uten å ofre kontroll.

Bruk disse sju nøkkelindikatorene som et strukturert veikart for å begrunne AI-investeringer, følge med på implementeringen og optimalisere ytelsen, noe som potensielt kan gi opptil 3.5X avkastning.

I mellomtiden kan du abonnere på The CTO Clubs nyhetsbrev for flere vekstplaner om AI og innsikt drevet av CTO-er.