Autonome AI-agenter er en tikkende tidsbombe uden ordentlige sikkerhedsforanstaltninger

De fleste af os spekulerer på, om 2025 bliver året, hvor agenter med kunstig intelligens (AI) endelig holder op med at foreslå sange til playlister og begynder at styre verden. Og lige i hælene på dem kommer den autonome AI-agent – grundlæggende en AI, der ikke bare tænker selv, men måske også beder om lønforhøjelse.

Men med eksistentielle risici på bordet (nogen, der vil opgive autonomi?), findes der så en strategi med sikkerhedsforanstaltninger, der kan levere sikker AI? Lad os fokusere på de største risici og tale om den tilgang, du kan anvende til at implementere kontroller på det rette sted, med den rette dokumentation og med det rette menneskelige tilsyn. 

Den brede verden af AI-agentrisici 

De ældste blandt os voksede op med en bekymring for de dystopiske udfald i 2001: En rumodyssé eller Blade Runner, mens de yngste blandt os husker WALL-E og de fordele, AI kunne have for menneskeheden.

I dag håndterer teknologiledere en række umiddelbare, men kritiske risici (stadig værdige til en Hollywood-film), som hæmmer den operationelle udvikling. De mest udbredte risici, der diskuteres blandt teknologiledere i bestyrelseslokalet, omfatter: 

• Tab af effektivt menneskeligt tilsyn, herunder med mange små, kumulative beslutninger (at se pølserne blive lavet, som det nogle gange kaldes);
• Psykologisk påvirkning af individer, herunder usunde eller skadelige tilknytninger fra brugere;
• Uautoriseret eller ondsindet aktivitet;
• Væsentlig påvirkning af helbred, sikkerhed eller økonomisk velbefindende som følge af fejlbehæftede eller forudindtagede beslutninger; og
• Manipulation eller aktiv tvang får individer til at træffe beslutninger, de ellers ikke ville have truffet.

Andre risici omfatter privatliv, dataproblemer og bred samfundsmæssig påvirkning. Hvis du har læst historier om AI-botfarme, der spreder misinformation for politisk vindings skyld, kender du påvirkningen.

Når AI får mulighed for at skalere beslutninger i forbindelse med daglige opgaver (hvor vi kører, hvad vi spiser, hvad vi ser) uden mennesker i beslutningssløjfen, hvad gør det så ved individer, samfundet og vores fælles udvikling? 

En sidste risiko, vi skal fremhæve, som er forbundet med mange af de ovenfor nævnte punkter og måske er den mest eksistentielle, er AI-agenters manglende evne til at vurdere omfanget og påvirkningen af deres handlinger.

En AI-agent vil nemlig altid udføre sine programmørers krav til perfektion. Men den mangler menneskets evne til at skabe balance mellem proces, etik, effektivitet, gennemsigtighed, hastighed, forståelse, samfundsmæssig påvirkning osv.

En AI-agent er ikke i stand til at afveje alle disse reelle og menneskelige faktorer for at opnå en tilstand, der er ’god nok’, eller en ligevægtstilstand. En AI-agent vil kun fokusere på ét enkelt mål: at maksimere opgaveudførelsen i fuldt omfang.

Den verdensberømte AI-ekspert professor Yoshua Bengio har blandt andre bemærket, at risiciene ved AI-agenter er de mest bekymrende af alle risici ved generativ AI, og at disse modeller kan optimere mod et mål, der er ukendt for og uforståeligt for mennesker (selv hvis målene er fastsat af mennesker). Dette kan få katastrofale konsekvenser. 

Tilsynsmyndigheder kræver dokumenterede kontroller

Med disse risici i tankerne lægger tilsynsmyndigheder verden over (om end forsigtigt) grundlaget for, at teknologiledere kan etablere effektive kontroller af disse risici, og gør organisationer bekendt med, hvad der på nuværende tidspunkt er og ikke er acceptabelt i vores samfund.

I USA har kreditoplysningsbureauer og realkreditbranchen set på muligheden for at anvende automatiseret beslutningstagning i kreditbeslutnings- og realkreditvurderingsprocesserne. Consumer Financial Protection Bureau (CFPB) udsendte hurtigt retningslinjer, der modsatte sig denne anvendelse, med udtalelsen: “Der findes ingen særlig undtagelse for kunstig intelligens,” samt bekymringer om, at de datasæt, der blev brugt til beslutningstagning, ikke altid var relevante for den enkeltes økonomi. 

På den anden side af Atlanten opregnede EU's AI-forordning en række forbudte handlinger, som skulle træde i kraft i februar 2025. Blandt de forbudte handlinger er brugen af AI til social rangordning, hvilket grundlæggende betyder at anvende AI-systemer til at evaluere eller klassificere individer baseret på social adfærd eller egenskaber. I lighed med CFPB's bekymringer fokuserer EU på ulovlig og forudindtaget beslutningstagning (eller kategorisering) af individer og har valgt helt at forbyde denne type adfærd i AI-systemer. 

Grundlaget 

Heldigvis har denne første bølge af generativ AI tvunget samfundet, bestyrelseslokalerne og ledelsesteams til at begynde at se nærmere på de vanskelige problemer med bias, hallucinationer og væsentlig påvirkning som følge af vores modellers fremskridt.

Og ledere er nået frem til to grundlæggende principper, når de håndterer AI-agenters risici og muligheder. 

1. Enhver organisation, der ønsker at implementere AI-agenter, skal have en uafhængig og omfattende proces til risikovurdering af anvendelsestilfælde. En formel proces til risikovurdering af anvendelsestilfælde vil fastlægge, hvordan en organisations egne risici håndteres, og hvordan dens AI-agent implementeres. For at etablere denne proces skal du sikre, at din organisation har oprettet et tværfunktionelt team (hvilket er afgørende for at sikre bred dækning af alle typer risici forbundet med AI-agenter), som er fuldt fokuseret på en omfattende vurdering af risiciene ved en AI-agent, herunder:
   • Identifikation og opgørelse af relevante risikofaktorer på tværs af risikoområder såsom operationelle risici, omdømmerisici, juridiske risici, compliancerisici, etiske risici, teknologiske risici og informationssikkerhedsrisici
   • En kortlægning af forventninger til kontrol og tilsyn i forhold til nye bedste praksisser inden for AI-risikostyring, herunder fra Den Internationale Standardiseringsorganisation (ISO) og Det Nationale Institut for Standarder og Teknologi (NIST), samt nye branchekontroller (både automatiserede og med et menneske i processen) og
   • Identifikation af resterende risici fra anvendelsestilfælde for AI-agenter.
2. Vi kan ikke stole på, at modeludbydere leverer de nødvendige sikkerhedsværktøjer. Organisationer skal udvikle sikkerhedsforanstaltninger og complianceværktøjer uafhængigt af modeludbyderne for at opretholde tilstrækkelig kontrol over vores generative AI-systemer.
   • Modelsikkerhed kan ikke overlades til modeludviklerne. OpenAI’s GPT-4o-model klarer sig dårligere (21 %) sammenlignet med interne modeller inden for sikkerhedsforanstaltninger og andre opgaver vedrørende sikkerhedscompliance. Modeludbydere kan have snævre definitioner af sikkerhed eller sikkerhedsforanstaltninger, der ikke passer til din organisations størrelse, kompleksitet, risikotolerance eller etiske krav.
   • Hvad vil det sige at overlade sikkerhedskontrollen til andre end sin egen organisation? Organisationer skal overveje risiciene ved at være underlagt enten utilsigtede (driftsafbrydelser, implicit bias) eller tilsigtede (manglende gennemsigtighed, modeller, der over tid ikke længere er afstemt) sikkerhedsrisici, som modeludbyderen medfører. 

Modulære sikkerhedsforanstaltninger for AI-agenter 

Så hvordan skal du som teknologileder forholde dig til de anvendte sikkerhedsforanstaltninger (dvs. kontroller), der skal afbøde de ovennævnte risici?

Heldigvis er dette et område med mange effektive teorier, så vi bør lytte til førende AI-akademikere og praktikere, herunder professor Yoshua Bengio, samt andre førende akademikere som Nobelprismodtager professor Geoffrey Hinton, professor Max Tegmark fra Massachusetts Institute of Technology og utallige andre. Rådet? Det består af to dele…

1. Opdel agentbaseret AI i modulære opgaver og arbejdsgange 
2. Opsæt sikkerhedsforanstaltninger og kontroller for hvert separat trin 

Ved at opdele oprettelsesprocessen for en agentbaseret AI-model i mindre, modulære opgaver reduceres risikoen ved automatiseret oprettelse naturligt, det understøtter årsagsanalyse, og det gør menneskelig indgriben og overvågning lettere.

I stedet for eksempelvis at bede en agentbaseret AI om at “skrive en virksomhedsrapport for fjerde kvartal, der analyserer pengestrømme”, kan du opsætte AI-agenten til at udføre opgaven trin for trin, herunder:

1) Opbygning af pivottabellen i et Excel-ark for at organisere pengestrømme efter måned og organisation,

2) Sammenligning med tidligere kvartaler og

3) Opsummering af de overordnede tendenser i en rapport!

Når denne ramme er etableret, bør der opsættes sikkerhedsforanstaltninger for hvert separat trin. Ved at behandle agentbaserede systemer som værktøjer og ikke som fuldt autonome systemer kan du forhindre katastrofale resultater, såsom at agentbaserede AI-systemer på vildledende vis ændrer tal (noget OpenAI’s seneste model, o1, er dokumenteret til at gøre 19 % af tiden).

Implementering af en sikkerhedsforanstaltning ved hvert trin i processen gør det muligt for organisationer at etablere effektive, detaljerede og strenge niveauer af kontrol og overvågning af, hvilke typer data agenter kan bruge, hvordan de må bruge dem, og hvilke konklusioner der kan drages.

Herefter handler det om den dokumentation (og overvågning), du installerer. Løbende compliancerapportering, træning, opbevaring af registre, revisionslogge, uafhængige valideringer samt rapporterings- og eskaleringsprotokoller for styring spiller alle en rolle i at skabe indsigt i det omfattende økosystem af interessenter, som en AI-agent kan have. 

Vigtige spørgsmål, der skal stilles

I sidste ende skal enhver teknologileder stille og besvare nogle få kritiske spørgsmål, før organisationen går videre med AI-agent-vejen i sin sektor:

• Er vi trygge ved de kontroller, vi har til rådighed, for at afbøde de iboende risici, der er identificeret gennem vores anvendelsestilfælde?
  • Hvis vi har kontrolrammen på plads, er vi så trygge ved at føre tilsyn med disse kontroller?
  • Hvis vi ikke har kontrollerne på plads, bør vi så fortsætte?
  • Har vi en ramme på plads til løbende at overvåge nye risici, der udspringer af fremskridt inden for agentisk AI?
• Har vi foretaget en uafhængig vurdering af vores tredjepartsmodeller?
  • Har vi benchmarking til at vurdere resultaterne i forhold til de værdier og indbyggede sikkerhedsforanstaltninger, vi forventer?
  • Mener vi, at sikkerhedskontrollerne er i overensstemmelse med vores standarder, og har vi kontrol over dem? 
• Hvilken rolle vil menneskeligt tilsyn spille i vores implementering?
  • Vil vores organisation have de rette mennesker, processer og teknologier til at spille en aktiv rolle i tilsynet med vores AI-agenter?
  • Er vi trygge ved, at opgaverne i vores anvendelsestilfælde bliver udført autonomt?  

Du bryder dig måske ikke om svarene, eller også fører de måske ikke til en risikovillighed, som din organisation er villig til at acceptere, men som man siger, sandheden ændrer sig ikke, blot fordi vi vælger ikke at se den! 

Tilmeld dig The CTO Clubs nyhedsbrev for at få flere indsigter om AI.