Spilder I millioner? Begynd at måle AI-succes med 7 målepunkter

AI indbringer enorme summer: 46,4 % af sidste års venturekapitalfinansiering for at være helt præcis. Men selv om pengene strømmer ind, har ledelsen stadig svært ved at se, hvordan AI driver forretningsmæssig transformation.

Mere end halvdelen af IT-lederne siger, at det største problem er at dokumentere investeringsafkastet, især fordi RAND Corporation forudsiger, at 80 % af AI-projekterne vil mislykkes og brænde milliarder af undervejs.

Stephen Mann, chefanalytiker og indholdsdirektør hos ITSM.tools, peger på et større problem: tillid. “De teams, der ikke har tillid til AI, er dem, der rapporterer et negativt investeringsafkast fra deres AI-investeringer. Det ser ud til at være en kæde, hvor AI-anvendelse og tillid (eller mangel på samme) gensidigt forstærker hinanden,” siger han. Stephen er ikke den eneste, der har lagt mærke til dette.

Googles AI-team har også påpeget, at generativ AI adskiller sig fra tidligere teknologi. Den er mere tilgængelig, og både tekniske og ikke-tekniske teams kan bruge den. Derfor må vi gentænke, hvordan vi måler AI's resultater, da traditionelle rammer for investeringsafkast ofte ikke rækker. 

Lad os se nærmere på, hvorfor gamle metoder ikke fungerer, og gennemgå de syv målepunkter, der er vigtige, når man evaluerer AI's investeringsafkast.

Udfordringer ved måling af AI's investeringsafkast

Virksomheder lancerer i gennemsnit 37 AI-POC'er, men over 30 % af CIO'erne indrømmer, at de ikke har et klart billede af, hvilke der lykkes. De arbejder i blinde uden robuste målepunkter, der forbinder AI-indsatser med konkrete resultater.

Det kan være vanskeligt at isolere AI's effekt, fordi teknologien ofte implementeres sammen med andre teknologier eller procesændringer, f.eks. et AI-drevet lagerstyringssystem, der rulles ud sammen med et nyt butiksdesign. Traditionelle A/B-tests har svært ved at håndtere situationer, hvor flere faktorer (AI, markedsføring, redesign) påvirker resultaterne samtidig.

Organisationer kæmper også med “blødt investeringsafkast” – ting som en innovationskultur, fastholdelse af medarbejdere, konkurrencefordele og bedre risikostyring – som er værdifulde, men svære at kvantificere. Når man medregner den tid, det tager at træne, finjustere og vedligeholde AI, er det tydeligt, hvorfor CTO'er tøver med at opbygge en ramme for investeringsafkast. Frygten for negative kortsigtede afkast under pres fra investorer gør udfordringen endnu større.

7 målepunkter til måling af AI-investeringers succes 

Harvards Michael Porter introducerede en strategisk triage, som virksomheder kan bruge til at vurdere deres AI-projekters konkurrencefordel. Hans model er bygget op omkring omkostningslederskab, differentiering og fokus, som hjælper organisationer med at levere højt specialiserede produkter og tjenester på nichemarkeder. 

For CTO'er er det afgørende at forstå, hvordan deres AI-projekter stemmer overens med disse løftestænger, hvis de skal retfærdiggøre investeringen og skabe målbare resultater. Her er syv målepunkter og OKR'er til at definere AI-succes:

1. Hurtigere tid til markedet (TTM)

Tid til markedet handler om at få dit produkt eller din tjeneste hurtigere på markedet, fra det første koncept til den endelige implementering, ved at bruge AI til at fremskynde hvert trin. Jo hurtigere du lancerer, desto hurtigere begynder du at tjene penge: Hvis AI hjælper med at reducere udviklingstiden fra 18 måneder til 12, er det yderligere 6 måneders potentiel omsætning. Og det er en stor gevinst, når det handler om at forbedre de økonomiske resultater og øge markedsandelen. 

Sådan måler du TTM 

• Varighed fra koncept til lancering: Følg, hvor lang tid det tager at gå fra godkendelse af idéen til lancering på markedet.
• Iterationscyklus: Mål hastigheden for design, test og finjustering.
• Forholdet mellem tid og værdi: Sammenlign, hvor hurtigt et produkt eller en funktion begynder at generere afkast.
• Indeks for ressourceeffektivitet (REI): Vurder, hvor mange arbejdstimer der er sparet eller omfordelt.

2. Procesgennemløb 

Det er afgørende at følge procesgennemløbet for at måle, hvor effektivt opgaver behandles inden for en given tidsperiode. Det afspejler systemets evne til at håndtere arbejdsbelastninger og påvirker den samlede kapacitet og effektivitet.

Sådan måler du procesgennemløb

• Volumen pr. tidsenhed (VPTU): Spor gennemførte opgaver eller transaktioner før og efter AI.
• Omkostning pr. transaktion: Analysér, hvordan AI påvirker ressourceforbruget ved større volumener.
• Vedvarende maksimal ydeevne: Overvåg, hvor længe systemet opretholder den maksimale gennemstrømning.
• Genoprettelsestid: Vurder, hvor hurtigt processerne kommer sig efter forstyrrelser.

3. Medarbejder- & kundeoplevelse 

Ethvert AI-initiativ tjener i sidste ende én af to grupper: medarbejdere eller kunder. Deres fastholdelse, produktivitet, tilfredshed og engagement er de reelle indikatorer for succes og for, om AI bliver godkendt af bestyrelsen og den øverste ledelse. 

For medarbejdere bør AI automatisere gentagne opgaver og effektivisere arbejdsgange, så de får mere tid til at fokusere på strategisk arbejde og arbejde med høj værdi. AI kan også optimere fordelingen af arbejdsbyrden – for eksempel når et AI-styret ledelsesværktøj markerer, at medarbejderne bruger for meget tid på møder og ikke nok på fokuseret arbejde.

På kundesiden af projekter skal AI-projekter fokusere på at skabe en friktionsfri oplevelse. Gevinsten kommer i form af øget loyalitet, længerevarende kunderelationer og en stabil strøm af anbefalinger – alt sammen afgørende komponenter i langsigtet forretningsvækst. Når disse elementer går op i en højere enhed, er resultatet et positivt investeringsafkast, hvor organisationen er agil, kundefokuseret og i stand til at styrke alle involverede interessenter. 

Sådan måles medarbejderoplevelsen (EX) for at fastslå AI-succes 

• Sammenlign fastholdelsesrater før og efter implementeringen af AI
• Spor fastholdelsen i AI-udvidede roller sammenlignet med roller uden AI-understøttelse
• Overvåg årsagerne til frivillige fratrædelser
• Medarbejdernes anbefalingsscore (eNPS) 
• Tid til produktivitet for nyansatte 

Sådan måles kundeoplevelsen (CX) 

• NPS- og CSAT-scorer 
• Løsning ved første kontakt (FCR) og svartid til kunder 
• Analyse af holdninger og følelser på sociale medier 
• Kundefastholdelse og kundeafgang 
• Trinvise ændringer i kundens livstidsværdi før og efter AI 

4. Indvirkning af teknisk gæld (TDI)

Indvirkning af teknisk gæld (TDI) måler, hvordan akkumulerede genveje og ineffektiviteter påvirker et AI-systems ydeevne, vedligeholdelsesvenlighed og skalerbarhed eller omvendt, hvordan AI selv bidrager til en virksomheds voksende tekniske gæld. 

Det er en kritisk måleenhed, eftersom teknisk gæld allerede sluger 30 % af IT-budgetterne og 20 % af de menneskelige ressourcer, og med AI bliver det kun værre. 

I 2025 forventer over 50 % af teknologilederne, at deres tekniske gæld vil nå moderate til alvorlige niveauer, hvor AI er blandt de væsentligste bidragydere. Måling af TDI gør det muligt for CTO'er at reducere disse skjulte omkostninger ved at begrunde refaktorering af modeller, optimere ressourcefordelingen og finde den rette balance mellem vedligeholdelse af ældre systemer og levering af nye AI-drevne funktioner.

Sådan måles indvirkningen af teknisk gæld  

• Datarørledningers latenstid: Vurder forsinkelser i dataindlæsning og forbehandling.
• Tid til produktionssætning af modelopdateringer: Undersøg, hvor hurtigt modeller tilpasser sig nye data.
• Slutningsomkostning pr. forudsigelse: Beregn ressourceomkostningerne for hver AI-slutning.
• Fejlrettelsesrate: Overvåg, hvor ofte der opstår problemer med data eller modeller, som kræver rettelser.

5. Udnyttelse af dataaktiver

AI er kun så god som de data, den er bygget på. Uanset om du arbejder med prædiktiv intelligens eller autonome systemer, fortæller udnyttelsen af dataaktiver dig, hvor effektivt AI bruger de tilgængelige data. 

Jo bedre udnyttelsen er, desto større rækkevidde får AI, fordi den nedbryder datasiloer, afhjælper skævheder i datasæt og leverer intelligens på tværs af virksomheden med dataintegration. 

Hvis modellerne ikke udnytter datasæt med høj værdi fuldt ud eller, endnu værre, overtilpasser sig redundante datasæt, påvirker det direkte nøjagtigheden, den strategiske relevans og i sidste ende succesen for dit AI-projekt. 

Sådan måler du udnyttelsen af dataaktiver  

• Hyppighed for dataadgang: Mål, hvor ofte AI-modeller tilgår hvert datasæt.
• Forsinkelse ved databehandling: Følg hente- og behandlingstider i AI-arbejdsgange.
• Forholdet mellem lagring og aktiv udnyttelse: Sammenlign lagrede data med aktivt anvendte data.
• Funktionsbrugsrate og dataoprindelse: Identificer, hvilke funktioner der driver ydeevnen, og sørg for datakvalitet.

6. Reduktion af fejlrate (ERR)

At få dataene rigtige er kun halvdelen af kampen. Den egentlige udfordring er at sikre, at dataene er rene og strukturerede, og at der leveres præcise, opdaterede og objektive resultater i stor skala. Reduktion af fejlrate er afgørende for denne proces. Det afspejler, hvor godt AI udvikler sig ved at reducere fejl og kvalitetsproblemer, og det viser modellens evne til at lære og tilpasse sig over tid. 

Færre fejl i AI-modeller betyder mindre behov for, at IT-teams griber ind, hvilket gør det lettere for AI at skalere på tværs af afdelinger, når den imødekommer domænespecifikke behov. Brug af værktøjer til modelovervågning til at følge denne udvikling hjælper med at sikre, at AI ikke forringes i takt med væksten, og giver CTO'er tillid til, at AI er fremtidssikret, afstemt med virksomhedens mål og konsekvent kan levere kundetilfredshed og operationel effektivitet.

Sådan måler du reduktion af fejlrate? 

• Udgangsniveau sammenlignet med aktuel fejlrate: Sammenlign de oprindelige niveauer for unøjagtighed med de aktuelle.
• Frekvens af falske positiver: Find ukorrekte positive klassifikationer.
• Fejlfordeling: Identificer skævheder eller svage punkter på tværs af datasegmenter.
• Udvikling i fejlrate: Sørg for, at modellerne ikke forringes efter implementering.
• Effektivitet ved korrigerende iterationer: Mål, hvor hurtigt genindlæring reducerer fejl.

7. Skaleringskoefficient

Skaleringskoefficienten er forskellen mellem et AI-initiativ, der trives, og et, der kollapser under sin egen vægt og bliver et økonomisk hul. Den måler, hvor godt en AI-løsning kan udvides på tværs af en organisation uden eksploderende omkostninger eller kompleksitet. 

AI-modeller kan begynde i det små, men efterhånden som anvendelsen vokser, stiger kravene til netværk, lagring og processorkraft også. Det, der begynder som en opsætning med hybridsky, kan hurtigt udvikle sig til en dyr omlægning – tænk på udvidelse af koldlagring, opgraderinger af lokal hardware og stigende omkostninger pr. implementering. Før du ved af det, bliver AI's potentielle ROI opvejet af infrastrukturspredning.

Sådan måler du skaleringskoefficienten 

Skalerbarhed skal måles på både tekniske og forretningsmæssige dimensioner. Her er, hvad CTO'er bør følge:

• Beregningseffektivitet (FLOPS/watt) og skalerbarhed for træningstid
• Inferensforsinkelse og omkostning pr. inferens
• Infrastrukturomkostninger og tid til værdiskabelse for implementeringer
• At sikre, at vækst ikke får omkostningerne til at eksplodere hjælper AI med at forblive en vækstdriver frem for en omkostningsbyrde.

Vækst uden et skalerbart fundament fører til ineffektivitet, hvilket gør AI mere til en omkostningspost end en vækstdriver.

Fremtidssikr dine AI-investeringer 

AI-drevet forstyrrelse aftager ikke, og CTO'er skal prioritere agilitet for at skabe en overbevisende forretningscase for AI. Det betyder et skift fra pilotprojekter til implementering på tværs af virksomheden, hvor agentisk AI skaber effekt på tværs af funktioner.

Skab opbakning ved at tilpasse strategiske mål til udførelsen via skalerbar infrastruktur, disciplineret MLOps og styringsrammer, der muliggør vækst uden at give afkald på kontrol.

Brug disse syv nøglemålepunkter som en struktureret køreplan til at begrunde investeringer i AI, overvåge anvendelsen og optimere ydeevnen, hvilket potentielt kan levere op til 3.5X afkast.

Indtil da kan du tilmelde dig The CTO Clubs nyhedsbrev for at få flere vækstplaner om AI og CTO-drevne indsigter.