Itsenäiset tekoälyagentit ovat aikapommi ilman asianmukaisia suojatoimia

By Daniel Ross

Itsenäiset tekoälyagentit ovat pohjimmiltaan tohtorintutkinnon suorittaneita Roomba-robotteja – loistavia askareiden hoitamisessa, mutta ne voivat imeä itseensä etiikkasi, vaatimustenmukaisuusasiakirjasi ja puolet sivilisaatiosta, ellet pidä niitä silmällä. Asenna siis suojatoimet, tee sääntelyviranomaisista uudet parhaat ystäväsi ja palkkaa ihminen valvomaan näitä vekottimia.

Key Takeaways

Dystooppisia riskejä vai onnellisia loppuja?: Tekoälyyn liittyy mahdollisia riskejä, kuten valvonnan menetys ja haitalliset päätökset, jotka muistuttavat Hollywoodin dystooppisia kuvauksia ja vaikuttavat ihmisten elämään sekä yhteiskunnan dynamiikkaan.

Tekoälyn yksipuolinen painopiste: tehokkuus vastaan tasapaino: Tekoäly ei kykene tasapainottamaan ihmisten moninaisia huolenaiheita, vaan keskittyy yksinomaan asetettujen tavoitteiden saavuttamiseen, mikä voi johtaa katastrofaalisiin seurauksiin, jos sitä ei hallita asianmukaisesti.

Sääntelyviranomaiset ottavat ohjat: Sääntelyviranomaiset ympäri maailmaa vaativat tekoälylle konkreettisia valvontakeinoja ja pyrkivät estämään puolueellisen tai lainvastaisen käytön, kuten EU:n tekoälysäädöksen ja CFPB:n ohjeiden kaltaisissa aloitteissa.

Tekoälyn rooli jokapäiväisessä elämässämme: Kun tekoäly tekee yhä useammin päätöksiä päivittäisten tehtävien hoitamiseksi, vastaamattomat kysymykset sen yhteiskunnallisista vaikutuksista ja ihmisen autonomian kehityssuunnasta kasvavat.

Useimmat meistä pohtivat, onko vuosi 2025 se vuosi, jolloin tekoälyagentit (AI) lopettavat viimein soittolistakappaleiden ehdottamisen ja alkavat pyörittää maailmaa. Eikä kaukana perässä tule autonominen tekoälyagentti – pohjimmiltaan tekoäly, joka ei ainoastaan ajattele itsenäisesti vaan saattaa myös pyytää palkankorotusta.

Mutta kun olemassaoloon liittyvät riskit ovat pöydällä (luovummeko autonomiastamme?), onko olemassa suojakaidestrategia turvallisen tekoälyn tuottamiseen? Perehdytään suuriin riskeihin ja keskustellaan lähestymistavasta, jonka avulla voit soveltaa hallintakeinoja oikeassa paikassa, oikean näytön perusteella ja asianmukaista ihmisen valvontaa varten. 

Tekoälyagenttien riskien laaja maailma 

Vanhimmat meistä kasvoivat varoen 2001: Avaruusseikkailun tai Blade Runnerin dystooppisia seurauksia, kun taas nuorimmat meistä muistavat WALL-E:n ja hyödyt, joita tekoäly voisi tarjota ihmiskunnalle.

Tänä päivänä teknologiajohtajat käsittelevät joukkoa välittömiä mutta kriittisiä riskejä (jotka ovat edelleen Hollywood-elokuvien arvoisia) ja jotka haittaavat toiminnan kehittämistä. Teknologiajohtajien keskuudessa hallitusten kokoushuoneissa keskusteltuihin yleisimpiin riskeihin kuuluvat: 

  • Tehokkaan ihmisen valvonnan menettäminen, myös monissa pienissä, kumuloituvissa päätöksissä (kuten joskus sanotaan, makkaran valmistuksen näkeminen);
  • Vaikutukset yksilöiden psyykkiseen hyvinvointiin, mukaan lukien käyttäjien epäterveet tai haitalliset kiintymyssuhteet;
  • Luvaton tai haitallinen toiminta;
  • Virheellisen tai puolueellisen päätöksenteon materiaalinen vaikutus terveyteen, turvallisuuteen tai taloudelliseen hyvinvointiin; sekä
  • Manipulointi tai aktiivinen pakottaminen saavat yksilöt tekemään päätöksiä, joita he eivät muuten tekisi.

Muita riskejä ovat yksityisyys, dataan liittyvät huolet ja laajemmat yhteiskunnalliset vaikutukset. Jos olet lukenut tarinoita tekoälyn bottitehtaista, jotka levittävät disinformaatiota poliittisen hyödyn saavuttamiseksi, tunnet vaikutukset.

Kun tekoäly valtuutetaan skaalaamaan päivittäisten tehtävien päätöksiä (missä ajamme, mitä syömme, mitä katsomme) ilman ihmisiä osana prosessia, mitä se tekee yksilöille, yhteiskunnalle ja yhteiselle kehityssuunnallemme? 

Yksi viimeinen riski, joka liittyy moniin edellä lueteltuihin riskeihin ja joka saattaa olla kaikkein eksistentiaalisin, on tekoälyagenttien kyvyttömyys arvioida toimintansa mittakaavaa ja vaikutuksia.

Tekoälyagentti toteuttaa aina ohjelmoijiensa vaatimukset täydellisesti. Siltä kuitenkin puuttuu ihmisen kyky saavuttaa tasapaino prosessin, etiikan, tehokkuuden, läpinäkyvyyden, nopeuden, ymmärryksen, yhteiskunnallisten vaikutusten ja muiden tekijöiden välillä.

Tekoälyagentti ei kykene tasapainottamaan kaikkia näitä todellisia ja inhimillisiä tekijöitä saavuttaakseen riittävän hyvän tai tasapainoisen tilan. Tekoälyagentti keskittyy vain yhteen tavoitteeseen: tehtävien suorittamisen maksimointiin mahdollisimman pitkälle.

Maailmankuulu tekoälyasiantuntija professori Yoshua Bengio on muiden tavoin huomauttanut, että tekoälyagenttien riskit ovat kaikista generatiivisen tekoälyn riskeistä huolestuttavimpia ja että nämä mallit saattavat optimoida kohti tavoitetta, jota ihmiset eivät tunne tai pysty tulkitsemaan (vaikka ihmiset olisivat asettaneet tavoitteet). Tällä voisi olla katastrofaalisia seurauksia. 

Get Free Access
Get regular tech leadership wisdom for delivering better software and systems.
Get Free Access

Have an account? Log In

Sääntelyviranomaiset vaativat näyttöön perustuvia hallintakeinoja

Nämä riskit mielessään maailmanlaajuiset sääntelyviranomaiset luovat parhaillaan (joskin varovaisesti) perustaa, jonka avulla teknologiajohtajat voivat ottaa käyttöön tehokkaita hallintakeinoja näiden riskien varalta, ja kertovat organisaatioille, mikä on tässä vaiheessa hyväksyttävää ja mikä ei yhteiskunnissamme.

Yhdysvalloissa kuluttajansuojavirasto ja asuntoluottoala ovat pyrkineet soveltamaan automatisoitua päätöksentekoa luottopäätöksiin ja asuntolainojen myöntämisprosesseihin. Consumer Financial Protection Bureau (CFPB) julkaisi nopeasti ohjeistuksen, jossa se vastusti tätä käyttöä ja totesi: ”Tekoälylle ei ole erityistä poikkeusta”, koska päätöksenteossa käytettyjen tietoaineistojen huolena oli, etteivät ne aina liittyneet yksilön talouteen. 

Atlantin toisella puolella EU:n tekoälysäädöksessä lueteltiin joukko kiellettyjä toimia, joiden on määrä tulla voimaan helmikuussa 2025. Kiellettyihin toimiin kuuluu tekoälyn käyttö sosiaaliseen pisteytykseen, jossa tekoälyjärjestelmiä käytetään olennaisesti yksilöiden arviointiin tai luokitteluun sosiaalisen käyttäytymisen tai ominaisuuksien perusteella. CFPB:n huolien tapaan EU keskittyy yksilöiden lainvastaiseen ja puolueelliseen päätöksentekoon (tai luokitteluun) ja päätti kieltää tällaisen toiminnan tekoälyjärjestelmissä kokonaan. 

Perustan luominen 

Onneksi tämä ensimmäinen generatiivisen tekoälyn aalto on pakottanut yhteiskunnan, hallitusten kokoushuoneet ja johtoryhmät tarkastelemaan puolueellisuuteen, hallusinaatioihin ja malliemme kehityksestä aiheutuviin merkittäviin vaikutuksiin liittyviä hankalia kysymyksiä.

Johtajat ovatkin päätyneet kahteen keskeiseen periaatteeseen käsitellessään tekoälyagenttien riskejä ja mahdollisuuksia. 

  1. Jokaisella tekoälyagentteja käyttöön ottavalla organisaatiolla on oltava riippumaton ja kattava käyttötapauskohtainen riskinarviointiprosessi. Muodollinen käyttötapauksen riskinarviointiprosessi määrittää, miten organisaation omia riskejä hallitaan ja miten sen tekoälyagentti otetaan käyttöön. Tämän prosessin perustamiseksi on varmistettava, että organisaatio on muodostanut monialaisen tiimin (mikä on ratkaisevan tärkeää kaikkien tekoälyagenttien riskityyppien kattavan käsittelyn varmistamiseksi), joka keskittyy tarkasti tekoälyagentin riskien kokonaisvaltaiseen arviointiin, mukaan lukien:
    • Merkityksellisten riskitekijöiden tunnistaminen ja luettelointi. Riskityyppeihin kuuluvat esimerkiksi operatiiviset, maineeseen liittyvät, oikeudelliset, vaatimustenmukaisuuteen liittyvät, eettiset, teknologiaan liittyvät ja tietoturvariskit
    • Valvontaa ja ohjausta koskevien odotusten kartoittaminen suhteessa kehittyviin tekoälyn riskienhallinnan parhaisiin käytäntöihin, mukaan lukien kansainvälisen standardisoimisjärjestön (ISO) ja Yhdysvaltain kansallisen standardointi- ja teknologiainstituutin (NIST) käytännöt sekä uudet toimialakohtaiset valvontakeinot (sekä automatisoidut että ihminen mukana -periaatteella toteutetut), ja
    • Tekoälyagenttien käyttötapauksista aiheutuvien jäännösriskien tunnistaminen.
  2. Emme voi luottaa siihen, että mallien tarjoajat toimittavat tarvittavat turvallisuustyökalut. Organisaatioiden on kehitettävä suojakaiteet ja vaatimustenmukaisuustyökalut malleja tarjoavista tahoista riippumatta, jotta generatiivisiin tekoälyjärjestelmiimme voidaan ylläpitää riittävä valvonta.
    • Mallien turvallisuutta ei voida jättää mallien kehittäjien vastuulle. OpenAI:n GPT-4o-mallilla on vaikeuksia suojakaiteiden turvallisuudessa ja muissa tietoturvan vaatimustenmukaisuuteen liittyvissä tehtävissä (21 % heikompi tulos) verrattuna organisaation sisäisesti kehitettyihin malleihin. Mallien tarjoajilla voi olla turvallisuudesta suppea määritelmä tai organisaation kokoon, monimutkaisuuteen, riskinsietokykyyn tai eettisiin vaatimuksiin sopimattomat suojakaiteet.
    • Mitä tarkoittaa turvallisuuden hallinnan luovuttaminen jollekin muulle kuin omalle organisaatiolle? Organisaatioiden on otettava huomioon riskit, jotka aiheutuvat siitä, että ne ovat mallin tarjoajan tahattomien (palvelukatkokset, piilevä ennakkoluuloisuus) tai tahallisten (läpinäkyvyyden puute, ajan mittaan väärin kohdistetut mallit) tietoturvariskien armoilla. 

More Articles

Modulaariset suojakaiteet tekoälyagenteille 

Miten teknologiajohtajien tulisi siis ajatella edellä mainittujen riskien lieventämiseen käytettäviä suojakaiteita (eli valvontakeinoja)?

Onneksi tämä on alue, jolla on paljon tehokkaita teorioita, joten meidän kannattaa huomioida tekoälyn johtavat tutkijat ja käytännön asiantuntijat, kuten professori Yoshua Bengio, sekä muut johtavat tutkijat, kuten Nobel-palkittu professori Geoffrey Hinton, Massachusetts Institute of Technologyn professori Max Tegmark ja lukemattomat muut. Mikä on heidän neuvonsa? Kaksi asiaa…

  1. Jaa toiminnallinen tekoäly modulaarisiin tehtäviin ja työnkulkuihin 
  2. Määritä suojakaiteet ja valvontakeinot jokaista erillistä vaihetta varten 

Toiminnallisen tekoälymallin luomisprosessin jakaminen pienempiin, modulaarisiin tehtäviin vähentää luonnostaan automatisoidun luomisen riskiä, tukee juurisyyanalyysiä ja mahdollistaa ihmisen helpomman puuttumisen ja valvonnan.

Sen sijaan että toiminnallista tekoälyä pyydettäisiin ”kirjoittamaan kassavirtoja analysoiva neljännen vuosineljänneksen liiketoimintaraportti”, tekoälyagentti voidaan määrittää suorittamaan tehtävä vaiheittain, esimerkiksi:

1) Luodaan Excel-taulukkoon pivot-taulukko kassavirtojen järjestämiseksi kuukausittain ja organisaatioittain,

2) Tehdään vertailu aiempiin vuosineljänneksiin ja

3) Tiivistetään yleiset suuntaukset raportiksi!

Kun tämä rakenne on määritetty, jokaiselle erilliselle vaiheelle tulisi asettaa suojakaiteet. Kun toiminnallisia järjestelmiä käsitellään työkaluina eikä päästä päähän toimivina autonomisina järjestelminä, voidaan estää katastrofaaliset seuraukset, kuten se, että toiminnalliset tekoälyjärjestelmät muuttavat lukuja harhaanjohtavasti (OpenAI:n uusimman mallin, o1:n, on dokumentoitu tekevän näin 19 %:ssa tapauksista).

Suojakaiteen käyttöönotto prosessin jokaisessa vaiheessa antaa organisaatioille mahdollisuuden määrittää tehokkaat, yksityiskohtaiset ja tiukat valvonnan ja ohjauksen tasot sen suhteen, millaista dataa agentit voivat käyttää, miten ne voivat käyttää sitä ja millaisia johtopäätöksiä voidaan tehdä.

Tämän jälkeen kyse on käyttöön ottamistasi todisteista (ja valvonnasta). Jatkuva vaatimustenmukaisuusraportointi, koulutus, tietojen säilytys, auditointilokit, riippumattomat validoinnit sekä hallinnointi- ja eskalointiprotokollia koskeva raportointi auttavat kaikki muodostamaan kokonaiskuvan laajasta sidosryhmäekosysteemistä, joka tekoälyagentilla voi olla. 

Kriittiset kysymykset, jotka on esitettävä

Viime kädessä jokaisen teknologiajohtajan on esitettävä ja vastattava muutamaan kriittiseen kysymykseen ennen kuin hän lähtee toimialallaan tekoälyagenttien tielle:

  • Olemmeko tyytyväisiä käytettävissämme oleviin kontrolleihin, joilla voimme lieventää käyttötapauksemme yhteydessä tunnistettuja luontaisia riskejä?
    • Jos meillä on kontrollikehys, olemmeko tyytyväisiä siihen, että pystymme valvomaan näitä kontrolleja?
    • Jos kontrolleja ei ole otettu käyttöön, pitäisikö meidän edetä?
    • Onko meillä käytössä kehys, jonka avulla voimme jatkuvasti seurata agenttipohjaisen tekoälyn kehityksestä aiheutuvia uusia riskejä?
  • Olemmeko arvioineet riippumattomasti kolmansien osapuolten mallimme?
    • Onko meillä käytössämme vertailuarviointi, jonka avulla voimme arvioida suorituskykyä suhteessa odottamiimme arvoihin ja sisäänrakennettuihin turvarajoihin?
    • Uskommeko, että turvallisuuskontrollit ovat standardiemme mukaisia ja että hallitsemme niitä? 
  • Millainen rooli ihmisten valvonnalla on käyttöönotossamme?
    • Onko organisaatiollamme oikeat ihmiset, prosessit ja teknologia, jotta voimme valvoa aktiivisesti tekoälyagenttejamme?
    • Olemmeko tyytyväisiä siihen, että käyttötapauksemme tehtävät suoritetaan itsenäisesti?  

Et ehkä pidä vastauksista tai ne eivät ehkä johda riskinottohalukkuuteen, jonka organisaatiosi on valmis hyväksymään, mutta kuten sanotaan, totuus ei muutu vain siksi, että päätämme olla näkemättä sitä! 

Tilaa The CTO Clubin uutiskirje saadaksesi lisää tietoa tekoälystä.

Daniel Ross
Daniel Ross is an accomplished leader at the intersection of artificial intelligence, compliance, regulation, and enterprise risk management. As the Head of AI Compliance Strategy at Dynamo AI, a Y Combinator W22 company, Daniel focuses on building enterprise-ready AI systems that prioritize privacy, security, and compliance. With over 15 years of experience driving data governance, AI risk strategy, and regulatory transformation for global financial institutions, Daniel has a proven record of helping organizations align cutting-edge technology with complex regulatory landscapes. Before joining Dynamo AI, Daniel served as Associate Partner and Director at Promontory Financial Group, an IBM Company, where he executed strategic operating model programs, AI governance frameworks, and regulatory responses for financial services organizations. Prior to Promontory, Daniel held senior leadership roles, including Vice President at both Deutsche Bank and Bank of America Merrill Lynch, where he led initiatives in global technology strategy, data integration, and operational transformation. His expertise spans AI governance, third-party risk management, regulatory compliance, and technology-driven change management. Earlier in his career, Daniel worked as a Management Consultant at Accenture, leading global client transformation projects across the U.S. and Europe.
Follow the author:

You may also like