Tuhlaatko miljoonia? Aloita tekoälyn onnistumisen mittaaminen näillä seitsemällä mittarilla

Tekoäly tahkoaa rahaa: tarkalleen ottaen 46,4 % viime vuoden pääomasijoitusrahoituksesta. Rahavirroista huolimatta yritysjohto kamppailee ymmärtääkseen, miten tekoäly edistää liiketoiminnan muutosta.

Yli puolet IT-johtajista sanoo sijoitetun pääoman tuoton osoittamisen olevan suurin haasteensa, etenkin koska RAND Corporation ennustaa, että 80 % tekoälyhankkeista epäonnistuu ja aiheuttaa samalla miljardien tappiot.

Stephen Mann, ITSM.toolsin pääanalyytikko ja sisältöjohtaja, nostaa esiin suuremman ongelman: luottamuksen. ”Tekoälyyn luottamattomat tiimit raportoivat todennäköisimmin negatiivisen sijoitetun pääoman tuoton tekoälyinvestoinneistaan. Vaikuttaa siltä, että kyseessä on ketju, jossa tekoälyn käyttöönotto ja luottamus – tai sen puute – ruokkivat toisiaan”, hän sanoo. Stephen ei ole ainoa, joka on huomannut tämän.

Myös Googlen tekoälytiimi on huomauttanut, että generatiivinen tekoäly poikkeaa aiemmasta teknologiasta. Se on helpommin saatavilla, ja sekä tekniset että ei-tekniset tiimit voivat käyttää sitä. Siksi meidän on arvioitava uudelleen, miten mittaamme tekoälyn suorituskykyä, sillä perinteiset sijoitetun pääoman tuoton viitekehykset eivät usein riitä. 

Tarkastellaan lähemmin, miksi vanhat lähestymistavat eivät toimi, ja keskustellaan seitsemästä mittarista, joilla on merkitystä tekoälyn sijoitetun pääoman tuottoa arvioitaessa.

Tekoälyn sijoitetun pääoman tuoton mittaamisen haasteet

Yritykset käynnistävät keskimäärin 37 tekoälyn konseptitodistusta, mutta yli 30 % tietohallintojohtajista myöntää, ettei heillä ole selkeää käsitystä siitä, mitkä niistä onnistuvat. Ne toimivat pimeässä ilman vankkoja mittareita, jotka yhdistäisivät tekoälytoimet konkreettisiin tuloksiin.

Tekoälyn vaikutuksen eristäminen voi olla hankalaa, koska sitä otetaan usein käyttöön samanaikaisesti muiden teknologia- tai prosessimuutosten kanssa, kuten tekoälyohjattu varastonhallintajärjestelmä uuden myymäläasettelun yhteydessä. Perinteinen A/B-testaus toimii huonosti, kun useat tekijät (tekoäly, markkinointi, uudelleensuunnittelu) vaikuttavat samanaikaisesti lopputuloksiin.

Organisaatiot kamppailevat myös ”pehmeän sijoitetun pääoman tuoton” kanssa. Tällaisia tekijöitä ovat esimerkiksi innovaatiokulttuuri, työntekijöiden pysyvyys, kilpailuetu ja parempi riskienhallinta – ne ovat arvokkaita, mutta vaikeasti mitattavia. Kun huomioidaan tekoälyn kouluttamiseen, hienosäätöön ja ylläpitoon kuluva aika, on selvää, miksi teknologiajohtajat epäröivät sijoitetun pääoman tuoton viitekehyksen rakentamista. Sijoittajien paineen alla koettujen lyhyen aikavälin negatiivisten tuottojen pelko vaikeuttaa asiaa entisestään.

7 mittaria tekoälyinvestointien onnistumisen mittaamiseen 

Harvardin Michael Porter esitteli strategisen kolmijaon, jonka avulla yritykset voivat arvioida tekoälyhankkeidensa kilpailuetua. Hänen mallinsa perustuu kustannusjohtajuuteen, erilaistamiseen ja keskittymiseen, jotka auttavat organisaatioita tarjoamaan erittäin erikoistuneita tuotteita ja palveluita kapeilla markkinoilla. 

Teknologiajohtajille on ratkaisevan tärkeää ymmärtää, miten heidän tekoälyhankkeensa liittyvät näihin vipuihin, jotta investoinnit voidaan perustella ja mitattavia tuloksia saavuttaa. Tässä on seitsemän mittaria ja OKR-tavoitetta tekoälyn onnistumisen määrittämiseen:

1. Nopeampi markkinoillepääsy (TTM)

Markkinoillepääsyllä tarkoitetaan tuotteen tai palvelun tuomista markkinoille nopeammin alkuperäisestä ideasta lopulliseen käyttöönottoon hyödyntämällä tekoälyä jokaisen vaiheen nopeuttamisessa. Mitä nopeammin lanseeraat tuotteen, sitä aikaisemmin alat tuottaa tuloja: jos tekoäly auttaa lyhentämään kehitysaikaa 18 kuukaudesta 12 kuukauteen, saat kuusi ylimääräistä kuukautta mahdollista liikevaihtoa. Se on merkittävä voitto taloudellisen suorituskyvyn parantamisen ja markkinaosuuden kasvattamisen kannalta. 

Miten TTM mitataan 

• Ideasta lanseeraukseen kuluva aika: Seuraa, kuinka kauan idean hyväksymisestä kestää tuotteen lanseeraukseen.
• Iterointijakson kesto: Mittaa suunnittelun, testauksen ja hienosäädön nopeutta.
• Arvon saavuttamisen suhde: Vertaa, kuinka nopeasti tuote tai ominaisuus alkaa tuottaa tuottoa.
• Resurssitehokkuusindeksi (REI): Arvioi säästettyjen tai uudelleen kohdennettujen henkilötyötuntien määrää.

2. Prosessin läpimeno 

Prosessin läpimenon seuraaminen on olennaista, kun mitataan, kuinka tehokkaasti tehtäviä käsitellään tietyn ajan kuluessa. Se kuvastaa järjestelmän kykyä käsitellä työkuormia ja vaikuttaa kokonaiskapasiteettiin ja tehokkuuteen.

Miten prosessin läpimeno mitataan

• Volyymi aikayksikköä kohden (VPTU): Seuraa suoritettuja tehtäviä tai tapahtumia ennen tekoälyn käyttöönottoa ja sen jälkeen.
• Tapahtumakohtaiset kustannukset: Analysoi, miten tekoäly vaikuttaa resurssien kulutukseen suuremmilla volyymeillä.
• Huipputehon ylläpidettävyys: Seuraa, kuinka pitkään järjestelmä ylläpitää suurinta mahdollista läpimenoa.
• Palautumisaika: Arvioi, kuinka nopeasti prosessit palautuvat häiriöiden jälkeen.

3. Työntekijä- ja asiakaskokemus 

Jokainen tekoälyhanke palvelee viime kädessä jompaakumpaa kahdesta ryhmästä: työntekijöitä tai asiakkaita. Heidän pysyvyytensä, tuottavuutensa, tyytyväisyytensä ja sitoutumisensa ovat todellisia onnistumisen mittareita ja ratkaisevat, saako tekoäly hankkeelle hyväksynnän hallitukselta ja ylimmältä johdolta. 

Työntekijöiden osalta tekoälyn tulisi automatisoida toistuvia tehtäviä ja sujuvoittaa työnkulkuja, jotta heille jää enemmän aikaa keskittyä strategiseen ja korkean lisäarvon työhön. Tekoäly voi myös optimoida työmäärän jakamista – esimerkiksi silloin, kun tekoälyohjattu hallintatyökalu havaitsee, että työntekijät käyttävät liikaa aikaa kokouksiin eivätkä tarpeeksi keskittyneeseen työskentelyyn.

Hankkeiden asiakaspuolella tekoälyhankkeiden on keskityttävä kitkattoman kokemuksen luomiseen. Hyödyt näkyvät kasvavana uskollisuutena, pidempinä asiakassuhteina ja tasaisena suosittelujen virtana – kaikki nämä ovat pitkän aikavälin liiketoiminnan kasvun keskeisiä osatekijöitä. Kun nämä tekijät yhdistyvät, tuloksena on positiivinen sijoitetun pääoman tuotto sekä organisaatio, joka on ketterä, asiakaskeskeinen ja kykenee voimaannuttamaan kaikki osalliset. 

Työntekijäkokemuksen (EX) mittaaminen tekoälyn onnistumisen määrittämiseksi 

• Vertaa pysyvyysasteita ennen tekoälyn käyttöönottoa ja sen jälkeen
• Seuraa pysyvyyttä tekoälyn tukemissa ja tukemattomissa tehtävissä
• Seuraa vapaaehtoisen lähtemisen syitä
• Työntekijöiden suositteluindeksi (eNPS) 
• Uusien työntekijöiden tuottavuuden saavuttamiseen kuluva aika 

Asiakaskokemuksen (CX) mittaaminen 

• NPS- ja CSAT-pisteet 
• Ratkaisu ensimmäisellä yhteydenotolla (FCR) ja asiakkaiden vastausaika 
• Tunne- ja mieliala-analyysi sosiaalisessa mediassa 
• Asiakkaiden pysyvyys- ja poistuma-asteet 
• Asiakkaan elinkaariarvon muutokset ennen tekoälyn käyttöönottoa ja sen jälkeen 

4. Teknisen velan vaikutus (TDI)

Teknisen velan vaikutus (TDI) mittaa, miten kertyneet oikopolut ja tehottomuudet vaikuttavat tekoälyjärjestelmän suorituskykyyn, ylläpidettävyyteen ja skaalautuvuuteen tai toisaalta miten tekoäly itse kasvattaa yrityksen kasvavaa teknistä velkaa. 

Kyseessä on kriittinen mittari, sillä tekninen velka kuluttaa jo nyt 30 % IT-budjeteista ja 20 % henkilöstöresursseista, ja tekoälyn myötä tilanne vain pahenee. 

Vuonna 2025 yli 50 % teknologiajohtajista odottaa teknisen velkansa saavuttavan kohtalaisen tai vakavan tason, ja tekoäly on yksi merkittävimmistä aiheuttajista. TDI:n mittaaminen auttaa teknologiajohtajia karsimaan näitä piilokustannuksia perustelemalla mallien uudelleenrakentamisen, optimoimalla resurssien kohdentamisen ja löytämällä oikean tasapainon vanhojen järjestelmien ylläpitämisen ja uusien tekoälypohjaisten ominaisuuksien toimittamisen välillä.

Teknisen velan vaikutuksen mittaaminen  

• Tietoputken viive: Arvioi tietojen syötön ja esikäsittelyn viiveitä.
• Mallipäivitysten tuotantoonviennin aika: Tarkista, kuinka nopeasti mallit mukautuvat uuteen dataan.
• Päätelmän kustannukset ennustetta kohden: Laske kunkin tekoälypäätelmän vaatimat resurssikustannukset.
• Virheenkorjausaste: Seuraa, kuinka usein data- tai malliongelmia ilmenee ja vaatii korjaamista.

5. Dataomaisuuden hyödyntäminen

Tekoäly on vain niin hyvä kuin data, jonka pohjalta se on rakennettu. Työskentelitpä ennakoivan älykkyyden tai autonomisten järjestelmien parissa, dataomaisuuden hyödyntäminen kertoo, kuinka tehokkaasti tekoäly käyttää saatavilla olevaa dataa. 

Mitä tehokkaampaa hyödyntäminen on, sitä laajempi tekoälyn ulottuvuus on: se purkaa siiloja, lieventää aineistojen vinoumia ja tuottaa koko organisaation kattavaa älykkyyttä datan integroinnin avulla. 

Jos mallit eivät hyödynnä täysimääräisesti arvokkaita aineistoja tai, mikä pahempaa, ylisovittuvat tarpeettomiin aineistoihin, se vaikuttaa suoraan tarkkuuteen, strategiseen merkityksellisyyteen ja viime kädessä tekoälyprojektisi onnistumiseen. 

Dataomaisuuden hyödyntämisen mittaaminen  

• Datan käyttötiheys: Mittaa, kuinka usein tekoälymallit käyttävät kutakin aineistoa.
• Datan käsittelyn viive: Seuraa haku- ja käsittelyaikoja tekoälyn työnkuluissa.
• Tallennetun ja aktiivisesti hyödynnetyn datan suhde: Vertaa tallennettua dataa aktiivisesti käytettyyn dataan.
• Ominaisuuksien käyttöaste ja datan alkuperä: Tunnista, mitkä ominaisuudet edistävät suorituskykyä, ja varmista datan laatu.

6. Virheasteen pienentäminen (ERR)

Datan saaminen oikein on vasta puolet työstä. Todellinen haaste on varmistaa, että data on puhdasta ja rakenteistettua ja että se tuottaa täsmällisiä, ajantasaisia ja puolueettomia tuloksia suuressa mittakaavassa. Virheasteen pienentäminen on tässä prosessissa keskeistä. Se kuvastaa sitä, kuinka hyvin tekoäly kehittyy vähentämällä virheitä ja laatuongelmia, ja kertoo mallin kyvystä oppia ja mukautua ajan myötä. 

Tekoälymallien vähäisemmät virheet merkitsevät, että IT-tiimien tarvitsee puuttua toimintaan harvemmin, mikä helpottaa tekoälyn laajentamista eri osastoille sen palvellessa toimialakohtaisia tarpeita. Näiden työkalujen seuraaminen mallien valvontatyökalujen avulla auttaa varmistamaan, ettei tekoälyn suorituskyky heikkene kasvun myötä. Tämä antaa teknologiajohtajille varmuuden siitä, että tekoäly kestää tulevaisuuden muutokset, on linjassa liiketoimintatavoitteiden kanssa ja pystyy jatkuvasti tuottamaan asiakastyytyväisyyttä ja toiminnan tehokkuutta.

Virheasteen pienentämisen mittaaminen? 

• Lähtötilanteen ja nykyisen virheasteen vertailu: Vertaa epätarkkuuden alkuperäistä ja nykyistä tasoa.
• Väärien positiivisten tulosten osuus: Tunnista virheelliset positiiviset luokitukset.
• Virheiden jakauma: Tunnista vinoumat tai heikot kohdat eri dataosuuksissa.
• Virheasteen muutos: Varmista, etteivät mallit heikkene käyttöönoton jälkeen.
• Korjaavan iteroinnin tehokkuus: Mittaa, kuinka nopeasti uudelleenkoulutus vähentää virheitä.

7. Skaalautuvuuden kerroin

Skaalautuvuuden kerroin erottaa menestyvän tekoälyhankkeen hankkeesta, joka romahtaa oman painonsa alla ja muuttuu rahareiäksi. Se mittaa, kuinka hyvin tekoälyratkaisua voidaan laajentaa koko organisaatiossa ilman kustannusten tai monimutkaisuuden jyrkkää kasvua. 

Tekoälymallit voivat alkaa pienessä mittakaavassa, mutta käyttöönoton laajentuessa myös verkkojen, tallennustilan ja laskentatehon vaatimukset kasvavat. Hybridipilven käyttöönotto voi nopeasti muuttua kalliiksi uudistukseksi: edessä voivat olla kylmän tallennustilan laajennukset, paikallisten laitteistojen päivitykset ja kasvavat kustannukset käyttöönottoa kohden. Ennen kuin huomaatkaan, tekoälyn mahdollinen sijoitetun pääoman tuotto kumoutuu infrastruktuurin hajautumisesta aiheutuviin kustannuksiin.

Skaalautuvuuden kertoimen mittaaminen 

Skaalautuvuutta on mitattava sekä teknisistä että liiketoiminnan näkökulmista. Tässä ovat asiat, joita teknologiajohtajien tulisi seurata:

• Laskennallinen tehokkuus (FLOPS/watti) ja koulutusajan skaalautuvuus
• Päättelyviive ja päättelyn kustannus
• Infrastruktuurin yleiskustannukset ja käyttöönottojen arvon syntymiseen kuluva aika
• Kasvun varmistaminen ilman kustannusten jyrkkää nousua auttaa tekoälyä säilymään kasvun edistäjänä eikä kustannussyöppönä.

Kasvu ilman skaalautuvaa perustaa johtaa tehottomuuksiin ja tekee tekoälystä pikemminkin kustannuskeskuksen kuin kasvun edistäjän.

Varmista tekoälyinvestointiesi tulevaisuudenkestävyys 

Tekoälyn johtama murros ei hidastu, ja teknologiajohtajien on asetettava ketteryys etusijalle, jotta tekoälylle voidaan rakentaa vakuuttava liiketoimintaperustelu. Tämä tarkoittaa siirtymistä pilottiprojekteista koko organisaation kattavaan käyttöönottoon, jossa toimijuuteen perustuva tekoäly tuottaa vaikutuksia yli toimintorajojen.

Varmista sitoutuminen yhdistämällä strategiset tavoitteet toteutukseen skaalautuvan infrastruktuurin, kurinalaisen MLOpsin ja hallintakehysten avulla, mikä mahdollistaa kasvun ilman kontrollin menettämistä.

Käytä näitä seitsemää keskeistä mittaria jäsenneltynä tiekarttana tekoälyinvestointien perustelemiseen, käyttöönoton seurantaan ja suorituskyvyn optimointiin, mikä voi tuottaa jopa 3.5X:n tuoton.

Sitä ennen tilaa The CTO Clubin uutiskirje, niin saat lisää tekoälyä koskevia kasvusuunnitelmia ja CTO-vetoisia näkemyksiä.