Autonome KI-agenter er en tikkende bombe uten riktige sikkerhetsmekanismer

De fleste av oss lurer på om 2025 blir året da agenter for kunstig intelligens (AI) endelig slutter å foreslå sanger til spillelister og begynner å styre verden. Og ikke langt bak kommer den autonome AI-agenten – i bunn og grunn en AI som ikke bare tenker selv, men som kanskje også ber om lønnsøkning.

Men med eksistensielle risikoer på bordet (er det noen som vil gi fra seg autonomien?), finnes det en strategi med sikkerhetsnett for å levere trygg AI? La oss ta utgangspunkt i de største risikoene og snakke om hvordan du kan iverksette kontroller på riktig sted, med riktige bevis, for riktig menneskelig tilsyn. 

AI-agentenes vide verden av risikoer 

De eldste blant oss vokste opp med en frykt for de dystopiske utfallene i 2001: En romodyssé eller Blade Runner, mens de yngste blant oss husker WALL-E og fordelene AI kan ha for menneskeheten.

I dag håndterer teknologiledere en samling umiddelbare, men kritiske risikoer (fortsatt verdige Hollywood) som hindrer operasjonell fremgang. De mest utbredte risikoene som diskuteres blant teknologiledere i styrerommet, omfatter: 

• Tap av effektivt menneskelig tilsyn, også med mange små, kumulative beslutninger (å se hvordan pølsen lages, som det noen ganger kalles);
• Psykologisk påvirkning på enkeltpersoner, inkludert usunne eller skadelige tilknytninger hos brukere;
• Uautorisert eller ondsinnet aktivitet;
• Betydelig påvirkning på helse, sikkerhet eller økonomisk velvære som følge av feilaktige eller forutinntatte beslutninger; og
• Manipulasjon eller aktiv tvang som får enkeltpersoner til å ta beslutninger de ellers ikke ville ha tatt.

Andre risikoer omfatter personvern, dataproblemer og bred samfunnsmessig påvirkning. Hvis du har lest historier om AI-botfarmer som sprer desinformasjon for politisk vinning, kjenner du til påvirkningen.

Når AI får myndighet til å skalere beslutninger i daglige oppgaver (hvor vi kjører, hva vi spiser, hva vi ser på) uten mennesker i loopen, hva gjør det med enkeltpersoner, samfunnet og vår kollektive utvikling? 

En siste risiko vi må fremheve, som er knyttet til mange av punktene ovenfor og kanskje er den mest eksistensielle, er AI-agentenes manglende evne til å vurdere omfanget og konsekvensene av handlingene sine.

En AI-agent vil alltid utføre programmerernes krav til perfeksjon. Men den mangler menneskets evne til å oppnå en balanse mellom prosess, etikk, effektivitet, åpenhet, hastighet, forståelse, samfunnsmessig påvirkning og så videre.

En AI-agent er ikke i stand til å balansere alle disse reelle og menneskelige faktorene for å oppnå en «god nok»- eller likevektstilstand. En AI-agent vil bare fokusere på ett enkelt mål: å maksimere oppgavegjennomføringen fullt ut.

Den verdenskjente AI-eksperten professor Yoshua Bengio har, blant andre, påpekt at risikoene ved AI-agenter er de mest bekymringsfulle av alle risikoene knyttet til generativ AI, og at disse modellene kan optimalisere mot et mål som er ukjent og uforståelig for mennesker (selv om målene settes av mennesker). Dette kan få katastrofale konsekvenser. 

Tilsynsmyndigheter krever dokumenterte kontroller

Med disse risikoene i mente legger tilsynsmyndigheter over hele verden grunnlaget for at teknologiledere skal etablere effektive kontroller for disse risikoene (riktignok med forsiktighet), og gjør organisasjoner kjent med hva som er, og ikke er, akseptabelt på dette stadiet i samfunnene våre.

I USA har kredittopplysningsbyrået og boliglånsbransjen sett på muligheten for å bruke automatiserte beslutninger i kredittbeslutnings- og boliglånsvurderingsprosessene. USAs forbrukerfinansieringstilsyn (CFPB) utstedte raskt veiledning som gikk imot denne bruken, og uttalte: “Det finnes ikke noe særskilt unntak for kunstig intelligens," samtidig som de uttrykte bekymring for at datasettene som ble brukt i beslutningsprosessen, ikke alltid var relevante for enkeltpersoners økonomi. 

På den andre siden av Atlanteren listet EUs AI-forordning opp et sett med forbudte handlinger, som skulle tre i kraft i februar 2025. Blant de forbudte handlingene er bruk av AI til sosial poengsetting, det vil si bruk av AI-systemer til å evaluere eller klassifisere enkeltpersoner basert på sosial atferd eller egenskaper. I likhet med CFPBs bekymringer har EU fokus på ulovlige og forutinntatte beslutninger (eller kategorisering) av enkeltpersoner, og valgte å forby denne typen atferd fra AI-systemer i sin helhet. 

Å legge grunnlaget 

Heldigvis har denne første bølgen av generativ AI tvunget samfunnet, styrerommene og ledergruppene til å begynne å se nærmere på de vanskelige problemstillingene knyttet til skjevhet, hallusinasjoner og betydelig påvirkning som følge av fremgangen til modellene våre.

Og ledere har kommet frem til to grunnleggende prinsipper når de håndterer risikoene og mulighetene ved AI-agenter. 

1. Hver organisasjon som ønsker å ta i bruk KI-agenter, må ha en uavhengig og omfattende prosess for risikovurdering av hvert enkelt bruksområde. En formell prosess for risikovurdering av bruksområder vil avgjøre hvordan organisasjonens egen risiko håndteres, og hvordan KI-agenten tas i bruk. For å etablere denne prosessen må du sørge for at organisasjonen har opprettet et tverrfunksjonelt team (noe som er avgjørende for å sikre bred dekning av alle typer KI-agentrisiko) som er fullstendig fokusert på å vurdere risikoen ved en KI-agent, inkludert:
   • Identifisering og kartlegging av relevante risikofaktorer som omfatter risikoty­per som operasjonell risiko, omdømmerisiko, juridisk risiko, etterlevelsesrisiko, etisk risiko, teknologirisiko og informasjonssikkerhetsrisiko
   • En kartlegging av forventninger til kontroll og tilsyn opp mot fremvoksende beste praksis for risikostyring for KI, inkludert praksis fra Den internasjonale standardiseringsorganisasjonen (ISO) og USAs nasjonale institutt for standarder og teknologi (NIST), samt nye bransjekontroller (både automatiserte og med et menneske i loopen), og
   • Identifisering av gjenværende risikoer ved bruk av KI-agentens bruksområder.
2. Vi kan ikke stole på at modelltilbydere leverer de nødvendige sikkerhetsverktøyene. Organisasjoner må utvikle sikringstiltak og verktøy for etterlevelse uavhengig av modelltilbydere for å opprettholde tilstrekkelig kontroll over de generative KI-systemene våre.
   • Modellsikkerhet kan ikke overlates til modellutviklere. OpenAIs GPT-4o-modell presterer dårligere (21 %) enn interne modeller når det gjelder sikkerhetstiltak og andre oppgaver knyttet til sikkerhetsetterlevelse. Modelltilbydere kan ha snevre definisjoner av sikkerhet eller sikringstiltak som ikke passer for organisasjonens størrelse, kompleksitet, risikotoleranse eller etiske krav.
   • Hva innebærer det å overlate sikkerhetskontrollen til andre enn organisasjonen? Organisasjoner må vurdere risikoen ved å være prisgitt enten utilsiktede (tjenesteavbrudd, implisitt skjevhet) eller tilsiktede (manglende åpenhet, modeller som over tid ikke er i samsvar med målene) sikkerhetsrisikoer som modelltilbyderen forårsaker. 

Modulære sikringstiltak for KI-agenter 

Så hvordan bør du som teknologileder tenke rundt de implementerte sikringstiltakene (det vil si kontrollene) for å redusere risikoene som er nevnt ovenfor?

Heldigvis finnes det mange effektive teorier på dette området, så vi bør lytte til ledende KI-akademikere og praktikere, inkludert professor Yoshua Bengio, samt andre ledende akademikere som Nobelprisvinner professor Geoffrey Hinton, professor Max Tegmark ved Massachusetts Institute of Technology og utallige andre. Rådet? To deler …

1. Bryt ned agentisk KI i modulære oppgaver og arbeidsflyter 
2. Sett opp sikringstiltak og kontroller for hvert enkelt trinn 

Ved å bryte ned opprettelsesflyten for en agentisk KI-modell i mindre, modulære oppgaver reduseres risikoen ved automatisert opprettelse naturlig, det legges til rette for årsaksanalyse, og det blir enklere å gripe inn og føre tilsyn manuelt.

I stedet for eksempelvis å be en agentisk KI om å «skrive en forretningsrapport for fjerde kvartal som analyserer kontantstrømmer», kan du konfigurere KI-agenten til å fullføre oppgaven trinnvis, inkludert:

1) Opprette pivottabellen i et Excel-ark for å organisere kontantstrømmer etter måned og organisasjon,

2) Gjennomføre en sammenligning med tidligere kvartaler, og

3) Oppsummere overordnede trender i en rapport!

Når denne strukturen er etablert, bør det settes opp sikringstiltak for hvert enkelt trinn. Ved å behandle agentiske systemer som verktøy, ikke som ende-til-ende-autonome systemer, kan du forhindre katastrofale utfall, som at agentiske KI-systemer på en villedende måte endrer tall (noe det er dokumentert at OpenAIs nyeste modell, o1, gjør 19 % av tiden).

Ved å implementere et sikringstiltak i hvert trinn av prosessen kan organisasjoner etablere effektive, detaljerte og strenge nivåer av kontroll og tilsyn med hensyn til hvilke typer data agenter kan bruke, hvordan de kan bruke dem, og hvilke konklusjoner som kan trekkes.

Det handler dermed om dokumentasjonen (og overvåkingen) du installerer. Løpende rapportering av etterlevelse, opplæring, oppbevaring av dokumentasjon, revisjonslogger, uavhengige valideringer samt rapportering om styring og protokoller for eskalering spiller alle en rolle i å gi innsikt i det omfattende økosystemet av interessenter en KI-agent kan ha. 

Viktige spørsmål du bør stille

Til syvende og sist må alle teknologiledere stille og besvare noen kritiske spørsmål før de går videre med KI-agentsporet i sin sektor:

• Er vi komfortable med kontrollene vi har tilgjengelig for å redusere de iboende risikoene som er identifisert gjennom brukstilfellet vårt?
  • Hvis vi har kontrollrammeverket på plass, er vi komfortable med å føre tilsyn med disse kontrollene?
  • Hvis vi ikke har kontrollene på plass, bør vi fortsette?
  • Har vi et rammeverk på plass for kontinuerlig å overvåke nye risikoer som følge av fremskritt innen agentisk kunstig intelligens?
• Har vi vurdert tredjepartsmodellene våre uavhengig?
  • Har vi referansemålinger for å vurdere ytelsen opp mot de verdiene og innebygde sikkerhetsmekanismene vi forventer?
  • Mener vi at sikkerhetskontrollene er i tråd med standardene våre, og har vi kontroll? 
• Hvilken rolle vil menneskelig tilsyn spille i implementeringen vår?
  • Vil organisasjonen vår ha de rette personene, prosessene og teknologien for å spille en aktiv rolle i tilsynet med AI-agentene våre?
  • Er vi komfortable med at oppgavene i brukstilfellet vårt blir utført autonomt?  

Det kan hende du ikke liker svarene, eller at de ikke fører til en risikovilje organisasjonen din er villig til å akseptere, men som man sier, sannheten endrer seg ikke bare fordi vi velger å ikke se den! 

Abonner på nyhetsbrevet til The CTO Club for mer innsikt i kunstig intelligens.