Tuhlaatko miljoonia? Ala mitata tekoälyn menestystä näillä 7 mittarilla

AI kahmii rahaa: tarkalleen ottaen 46,4 % viime vuoden pääomasijoitusrahoituksesta. Rahan virratessa sisäänkin yritysjohto kuitenkin kamppailee ymmärtääkseen, miten AI edistää liiketoiminnan muutosta.

Yli puolet IT-johtajista sanoo sijoitetun pääoman tuoton osoittamisen olevan suurin haasteensa, etenkin koska RAND Corporation ennustaa, että 80 % AI-hankkeista epäonnistuu ja polttaa samalla miljardeja.

Stephen Mann, ITSM.toolsin pääanalyytikko ja sisältöjohtaja, nostaa esiin suuremman ongelman: luottamuksen. ”Tiimit, jotka eivät luota AI:hin, raportoivat todennäköisimmin negatiivisen sijoitetun pääoman tuoton AI-investoinneistaan. Vaikuttaa siltä, että kyseessä on ketju, jossa AI:n käyttöönotto ja luottamus – tai sen puute – ruokkivat toisiaan”, hän sanoo. Stephen ei ole ainoa, joka on huomannut tämän.

Myös Googlen AI-tiimi on huomauttanut, että generatiivinen AI eroaa aiemmasta teknologiasta. Se on helpommin saatavilla, ja sekä tekniset että ei-tekniset tiimit voivat käyttää sitä. Siksi meidän on arvioitava uudelleen, miten mittaamme AI:n suorituskykyä, sillä perinteiset sijoitetun pääoman tuoton viitekehykset jäävät usein puutteellisiksi. 

Tarkastellaan lähemmin, miksi vanhat lähestymistavat eivät toimi, ja keskustellaan seitsemästä mittarista, joilla on merkitystä AI:n sijoitetun pääoman tuottoa arvioitaessa.

AI:n sijoitetun pääoman tuoton mittaamisen haasteet

Yritykset käynnistävät keskimäärin 37 AI:n konseptitodennusta, mutta yli 30 % tietohallintojohtajista myöntää, ettei heillä ole selkeää käsitystä siitä, mitkä niistä onnistuvat. Ne toimivat pimeässä ilman vankkoja mittareita, jotka yhdistäisivät AI-hankkeet konkreettisiin tuloksiin.

AI:n vaikutuksen erottaminen voi olla hankalaa, koska sitä otetaan usein käyttöön samanaikaisesti muiden teknologia- tai prosessimuutosten kanssa, kuten AI-ohjattu varastonhallintajärjestelmä uuden myymäläasettelun yhteydessä. Perinteinen A/B-testaus joutuu vaikeuksiin, kun useat tekijät (AI, markkinointi, uudistukset) vaikuttavat tuloksiin samanaikaisesti.

Organisaatiot kamppailevat myös ”pehmeän sijoitetun pääoman tuoton” kanssa. Siihen kuuluvat esimerkiksi innovaatiokulttuuri, työntekijöiden pysyvyys, kilpailuetu ja parempi riskienhallinta – arvokkaita asioita, joita on kuitenkin vaikea mitata. Kun huomioidaan AI:n kouluttamiseen, hienosäätöön ja ylläpitoon kuluva aika, on selvää, miksi teknologiajohtajat epäröivät rakentaa sijoitetun pääoman tuoton viitekehystä. Sijoittajien paineen alla lyhyen aikavälin negatiivisten tuottojen pelko vaikeuttaa haastetta entisestään.

7 mittaria AI-investointien onnistumisen mittaamiseen 

Harvardin Michael Porter esitteli strategisen kolmiportaisen arviointimallin, jonka avulla yritykset voivat arvioida AI-hankkeidensa kilpailuetua. Hänen mallinsa perustuu kustannusjohtajuuteen, erilaistamiseen ja keskittymiseen, jotka auttavat organisaatioita tarjoamaan pitkälle erikoistuneita tuotteita ja palveluita kapeilla markkinoilla. 

Teknologiajohtajille on ratkaisevan tärkeää ymmärtää, miten heidän AI-hankkeensa liittyvät näihin vipuvaikutuksiin, jotta investoinnit voidaan perustella ja mitattavia tuloksia saavuttaa. Tässä on seitsemän mittaria ja OKR-tavoitetta, joilla AI:n onnistuminen voidaan määritellä:

1. Nopeampi markkinoille saattaminen (TTM)

Markkinoille saattamisen nopeudessa on kyse siitä, että tuote tai palvelu saadaan markkinoille nopeammin alkuperäisestä ideasta lopulliseen käyttöönottoon hyödyntämällä AI:ta jokaisen vaiheen nopeuttamiseen. Mitä nopeammin julkaiset, sitä aikaisemmin alat ansaita tuloja: jos AI auttaa lyhentämään kehitysaikaa 18 kuukaudesta 12 kuukauteen, saat kuusi kuukautta lisää potentiaalista liikevaihtoa. Se on merkittävä voitto taloudellisen suorituskyvyn parantamisen ja markkinaosuuden kasvattamisen kannalta. 

Miten TTM mitataan 

• Konseptista julkaisuun kuluva aika: Seuraa, kuinka kauan idean hyväksymisestä markkinoille julkaisemiseen kuluu.
• Iterointisyklin kesto: Mittaa suunnittelun, testauksen ja hiomisen nopeutta.
• Arvon saavuttamiseen kuluva aika: Vertaa, kuinka nopeasti tuote tai ominaisuus alkaa tuottaa tuottoa.
• Resurssitehokkuusindeksi (REI): Arvioi säästettyjen tai uudelleen kohdennettujen henkilötyötuntien määrää.

2. Prosessin läpimeno 

Prosessin läpimenon seuraaminen on olennaista, kun mitataan, kuinka tehokkaasti tehtäviä käsitellään tietyn ajan kuluessa. Se kuvastaa järjestelmän kykyä käsitellä työkuormia ja vaikuttaa kokonaiskapasiteettiin sekä tehokkuuteen.

Miten prosessin läpimeno mitataan

• Tilavuus aikayksikköä kohti (VPTU): Seuraa suoritettujen tehtävien tai tapahtumien määrää ennen tekoälyn käyttöönottoa ja sen jälkeen.
• Tapahtumakohtaiset kustannukset: Analysoi, miten tekoäly vaikuttaa resurssien kulutukseen suuremmilla volyymeilla.
• Huippusuorituskyvyn ylläpidettävyys: Seuraa, kuinka kauan järjestelmä ylläpitää enimmäissuorituskykyä.
• Palautumisaika: Arvioi, kuinka nopeasti prosessit palautuvat häiriöiden jälkeen.

3. Työntekijä- ja asiakaskokemus 

Jokainen tekoälyhanke palvelee viime kädessä jompaakumpaa kahdesta ryhmästä: työntekijöitä tai asiakkaita. Heidän pysyvyytensä, tuottavuutensa, tyytyväisyytensä ja sitoutumisensa ovat todellisia onnistumisen mittareita ja ratkaisevat, saako tekoäly hallituksen ja ylimmän johdon hyväksynnän. 

Työntekijöiden osalta tekoälyn tulisi automatisoida toistuvia tehtäviä ja sujuvoittaa työnkulkuja, jolloin heille jää enemmän aikaa keskittyä strategiseen ja paljon arvoa tuottavaan työhön. Tekoäly voi myös optimoida työkuorman jakautumista – esimerkiksi silloin, kun tekoälyohjattu hallintatyökalu havaitsee työntekijöiden käyttävän liikaa aikaa kokouksiin ja liian vähän keskittymistä vaativaan työhön.

Projektien asiakaspuolella tekoälyhankkeiden on keskityttävä kitkattoman kokemuksen luomiseen. Hyödyt näkyvät lisääntyneenä uskollisuutena, pidempinä asiakassuhteina ja tasaisena suosittelujen virtana – kaikki nämä ovat pitkän aikavälin liiketoiminnan kasvun keskeisiä osatekijöitä. Kun nämä elementit yhdistyvät, tuloksena on positiivinen ROI ja organisaatio, joka on ketterä, asiakaskeskeinen ja kykenee voimaannuttamaan kaikki mukana olevat sidosryhmät. 

Kuinka työntekijäkokemusta (EX) mitataan tekoälyn onnistumisen määrittämiseksi 

• Vertaile pysyvyysasteita ennen tekoälyn käyttöönottoa ja sen jälkeen
• Seuraa pysyvyyttä tekoälyn tukemissa ja tukemattomissa rooleissa
• Seuraa vapaaehtoisen lähtemisen syitä
• Työntekijöiden nettosuositteluindeksit (eNPS) 
• Uusien työntekijöiden tuottavuuden saavuttamiseen kuluva aika 

Kuinka asiakaskokemusta (CX) mitataan 

• NPS- ja CSAT-pisteet 
• Ratkaisu ensimmäisen yhteydenoton aikana (FCR) ja asiakkaiden vastausaika 
• Tunnelman ja tunteiden analysointi sosiaalisen median kanavissa 
• Asiakkaiden pysyvyys- ja asiakaspoistuma-asteet 
• Asiakkaan elinkaariarvon asteittaiset muutokset ennen tekoälyn käyttöönottoa ja sen jälkeen 

4. Teknisen velan vaikutus (TDI)

Teknisen velan vaikutus (TDI) mittaa, miten kertyneet oikopolut ja tehottomuudet vaikuttavat tekoälyjärjestelmän suorituskykyyn, ylläpidettävyyteen ja skaalautuvuuteen tai toisaalta sitä, miten tekoäly itse kasvattaa yrityksen kasvavaa teknistä velkaa. 

Kyseessä on kriittinen mittari, sillä tekninen velka kuluttaa jo 30 % IT-budjeteista ja 20 % henkilöstöresursseista, ja tekoälyn myötä tilanne vain pahenee. 

Vuonna 2025 yli 50 % teknologiajohtajista odottaa teknisen velkansa saavuttavan kohtalaisen tai vakavan tason, ja tekoäly kuuluu merkittävimpiin aiheuttajiin. TDI:n mittaaminen auttaa teknologiajohtajia vähentämään näitä piilokustannuksia perustelemalla mallien uudelleenmuokkauksen, optimoimalla resurssien kohdentamisen ja löytämällä oikean tasapainon vanhojen järjestelmien ylläpidon ja uusien tekoälypohjaisten ominaisuuksien toimittamisen välillä.

Kuinka teknisen velan vaikutusta mitataan  

• Tietoputken viive: Arvioi viiveet tiedon vastaanotossa ja esikäsittelyssä.
• Mallipäivitysten tuotantoon siirtymiseen kuluva aika: Tarkista, kuinka nopeasti mallit mukautuvat uusiin tietoihin.
• Päätelmän kustannus ennustetta kohti: Laske kunkin tekoälypäätelmän vaatimat laskentaresurssien kustannukset.
• Virheenkorjausaste: Seuraa, kuinka usein tieto- tai malliongelmia ilmenee ja vaatii korjaamista.

5. Tietovarantojen hyödyntäminen

Tekoäly on vain niin hyvä kuin sen perustana oleva data. Työskentelitpä ennakoivan älykkyyden tai autonomisten järjestelmien parissa, tietovarantojen hyödyntäminen kertoo, kuinka tehokkaasti tekoäly käyttää saatavilla olevaa dataa. 

Mitä tehokkaammin dataa hyödynnetään, sitä laajempi on tekoälyn ulottuvuus: siilojen purkaminen, tietoaineistojen vinoumien lieventäminen ja koko organisaation kattavan älykkyyden tarjoaminen tiedon integroinnin avulla. 

Jos mallit eivät hyödynnä täysimääräisesti arvokkaita tietoaineistoja tai, mikä vielä pahempaa, ylisovittavat toistuvia tietoaineistoja, se vaikuttaa suoraan tarkkuuteen, strategiseen merkityksellisyyteen ja viime kädessä tekoälyprojektisi onnistumiseen. 

Miten dataomaisuuden hyödyntämistä mitataan  

• Datan käyttötiheys: Mittaa, kuinka usein tekoälymallit käyttävät kutakin tietoaineistoa.
• Datan käsittelyn viive: Seuraa hakemiseen ja käsittelyyn kuluvaa aikaa tekoälyn työnkuluissa.
• Tallennetun ja aktiivisesti hyödynnetyn datan suhde: Vertaa tallennettua dataa aktiivisesti käytettyyn dataan.
• Ominaisuuksien käyttöaste ja datan alkuperä: Tunnista, mitkä ominaisuudet vaikuttavat suorituskykyyn, ja varmista datan laatu.

6. Virheprosentin vähentäminen (ERR)

Datan saaminen oikein on vasta puolet työstä. Todellinen haaste on varmistaa, että data on puhdasta ja jäsenneltyä ja että se tuottaa tarkkoja, ajantasaisia ja puolueettomia tuloksia mittakaavassa. Virheprosentin vähentäminen on tämän prosessin avaintekijä. Se kuvastaa sitä, kuinka hyvin tekoäly kehittyy vähentämällä virheitä ja laatuongelmia, sekä kertoo mallin kyvystä oppia ja mukautua ajan myötä. 

Tekoälymallien vähäisempi virheiden määrä tarkoittaa, että IT-tiimien tarvitsee puuttua toimintaan harvemmin, mikä helpottaa tekoälyn skaalaamista eri osastoille sen palvellessa alakohtaisia tarpeita. Tämän kehityksen seuranta varmistaa, ettei tekoälyn laatu heikkene kasvun myötä, ja antaa teknologiajohtajille varmuuden siitä, että tekoäly on tulevaisuudenkestävä, liiketoimintatavoitteiden mukainen ja pystyy tuottamaan jatkuvasti asiakastyytyväisyyttä ja toiminnan tehokkuutta.

Miten virheprosentin vähentämistä mitataan? 

• Perustason ja nykyisen virheprosentin vertailu: Vertaa epätarkkuuden alkuperäistä ja nykyistä tasoa.
• Väärien positiivisten tulosten osuus: Tunnista virheelliset positiiviset luokitukset.
• Virheiden jakauma: Tunnista vinoumat tai heikot kohdat eri dataosioissa.
• Virheprosentin vaihtelu: Varmista, etteivät mallit heikkene käyttöönoton jälkeen.
• Korjaavan iteroinnin tehokkuus: Mittaa, kuinka nopeasti uudelleenkoulutus vähentää virheitä.

7. Skaalautuvuuskerroin

Skaalautuvuuskerroin erottaa menestyvän tekoälyhankkeen hankkeesta, joka romahtaa oman painonsa alla ja muuttuu rahareiäksi. Se mittaa, kuinka hyvin tekoälyratkaisua voidaan laajentaa koko organisaation laajuiseksi ilman kustannusten tai monimutkaisuuden rajua kasvua. 

Tekoälymallit voivat alkaa pienimuotoisina, mutta käyttöönoton laajentuessa kasvavat myös verkkoyhteyksien, tallennustilan ja laskentatehon vaatimukset. Alun perin hybridipilveksi rakennettu ympäristö voi nopeasti muuttua kalliiksi uudistukseksi, johon kuuluvat esimerkiksi kylmätallennustilan laajennukset, paikallisen laitteiston päivitykset ja kasvavat kustannukset käyttöönottoa kohden. Ennen kuin huomaatkaan, tekoälyn mahdollinen sijoitetun pääoman tuotto neutraloituu infrastruktuurin hajautumisen vuoksi.

Miten skaalautuvuuskerrointa mitataan 

Skaalautuvuutta on mitattava sekä teknisestä että liiketoiminnallisesta näkökulmasta. Teknologiajohtajien tulisi seurata seuraavia asioita:

• Laskennallinen tehokkuus (FLOPS/watti) ja koulutusajan skaalautuvuus
• Päättelyn viive ja kustannus päättelyä kohden
• Infrastruktuurin yleiskustannukset ja käyttöönottojen arvon saavuttamiseen kuluva aika
• Kasvun varmistaminen ilman kustannusten rajua nousua auttaa pitämään tekoälyn kasvun vauhdittajana eikä kustannussyöppönä.

Kasvu ilman skaalautuvaa perustaa johtaa tehottomuuteen ja tekee tekoälystä pikemminkin kustannuskeskuksen kuin kasvun vauhdittajan.

Tee tekoälyinvestoinneistasi tulevaisuudenkestäviä 

Tekoälyyn perustuva murros ei hidastu, ja teknologiajohtajien on asetettava ketteryys etusijalle voidakseen perustella tekoälyn liiketoimintahyödyt vakuuttavasti. Tämä tarkoittaa siirtymistä pilottihankkeista koko yrityksen kattavaan käyttöönottoon, jossa toimijapohjainen tekoäly tuottaa vaikutuksia yli toimintorajojen.

Varmista sidosryhmien tuki yhdistämällä strategiset tavoitteet toteutukseen skaalautuvan infrastruktuurin, kurinalaisen MLOps-toiminnan ja hallintakehysten avulla, jotta kasvu on mahdollista ilman kontrollista tinkimistä.

Hyödynnä näitä seitsemää keskeistä mittaria jäsenneltynä tiekarttana tekoälyinvestointien perustelemiseen, käyttöönoton seuraamiseen ja suorituskyvyn optimointiin, mikä voi tuottaa jopa 3.5X:n tuotot.

Sitä odotellessa tilaa The CTO Clubin uutiskirje saadaksesi lisää tekoälyä koskevia kasvusuunnitelmia ja teknologiajohtajien näkemyksiä.