Autonoma AI-agenter är en tickande tidsbomb utan ordentliga skyddsräcken
Dystopiska risker eller lyckliga slut?: AI medför potentiella risker som förlust av tillsyn och skadligt beslutsfattande, vilket påminner om Hollywoods dystopiska scenarier och påverkar individers liv och samhällsdynamiken.
AI:s ensidiga fokus: effektivitet kontra balans: AI saknar förmågan att balansera människans mångfacetterade intressen och fokuserar enbart på att uppnå fastställda mål, vilket kan leda till katastrofala resultat om den inte hanteras korrekt.
Tillsynsmyndigheterna tar kontroll: Tillsynsmyndigheter världen över kräver konkreta kontroller för AI och motverkar partisk eller olaglig användning, vilket syns i initiativ som EU:s AI-förordning och CFPB:s riktlinjer.
AI:s roll i vårt dagliga liv: När AI i allt högre grad fattar beslut för vardagliga uppgifter kvarstår obesvarade frågor om dess samhällspåverkan och den riktning människans självbestämmande tar.
De flesta av oss undrar om 2025 blir året då agenter för artificiell intelligens (AI) äntligen slutar föreslå spellåtar och börjar styra världen. Och inte långt därefter kommer den autonoma AI-agenten – i princip en AI som inte bara tänker själv utan kanske också ber om löneförhöjning.
Men med existentiella risker på bordet (någon som vill ge upp sin autonomi?), finns det då en strategi med skyddsräcken för att leverera säker AI? Låt oss förankra oss i de stora riskerna och prata om hur du kan tillämpa kontroller på rätt plats, med rätt bevis och med rätt mänsklig tillsyn.
AI-agentriskernas vida värld
De äldsta bland oss växte upp med en vaksamhet inför de dystopiska utfallen i En rymdodyssé eller Blade Runner, medan de yngsta bland oss minns WALL-E och de fördelar AI skulle kunna ge mänskligheten.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
I dag hanterar teknikledare en samling omedelbara men kritiska risker (fortfarande värdiga Hollywood) som hindrar verksamhetsutvecklingen. De vanligaste riskerna som diskuteras bland teknikledare i styrelserummet omfattar:
- Förlust av effektiv mänsklig tillsyn, även över många små, kumulativa beslut (att se korven tillverkas, som det ibland kallas);
- Psykologisk påverkan på individer, inklusive osunda eller skadliga bindningar hos användare;
- Obehörig eller skadlig aktivitet;
- Betydande påverkan på hälsa, säkerhet eller ekonomiskt välbefinnande till följd av bristfälligt eller partiskt beslutsfattande; och
- Manipulation eller aktivt tvång får individer att fatta beslut som de annars kanske inte skulle ha fattat.
Andra risker omfattar integritet, datarelaterade frågor och bred samhällspåverkan. Om du har läst berättelser om AI-botfarmar som sprider desinformation för politisk vinning, känner du till påverkan.
När AI får möjlighet att skala upp beslut i vardagliga uppgifter (var vi kör, vad vi äter, vad vi tittar på) utan människor i beslutsloopen, vad gör det med individer, samhället och vår gemensamma utveckling?
En sista risk som vi måste lyfta, kopplad till många av punkterna ovan och kanske den mest existentiella, är AI-agenternas oförmåga att bedöma omfattningen av och påverkan från sina handlingar.
En AI-agent kommer nämligen alltid att utföra sina programmerares krav till perfektion. Men den saknar människans förmåga att uppnå en balans mellan process, etik, effektivitet, transparens, snabbhet, förståelse, samhällspåverkan och så vidare.
En AI-agent kan inte balansera alla dessa verkliga och mänskliga faktorer för att uppnå ett ”tillräckligt bra” tillstånd eller ett jämviktsläge. En AI-agent kommer endast att fokusera på ett enda mål: att maximera uppgifternas slutförande i största möjliga utsträckning.
Den världskände AI-experten professor Yoshua Bengio har, bland andra, påpekat att AI-agenternas risker är de mest oroande av alla risker med generativ AI och att dessa modeller kan optimera mot ett mål som är okänt och obegripligt för människor (även om målen fastställs av människor). Detta skulle kunna få katastrofala konsekvenser.
Tillsynsmyndigheter kräver belagda kontroller
Med dessa risker i åtanke lägger tillsynsmyndigheter världen över (om än försiktigt) grunden för att teknikledare ska etablera effektiva kontroller av dessa risker och informerar organisationer om vad som är och inte är acceptabelt i detta skede i våra samhällen.
I USA har kreditupplysningsföretag och bolånebranschen försökt tillämpa automatiserat beslutsfattande i kreditbesluts- och bolånebedömningsprocesserna. USA:s konsumentskyddsmyndighet för finanssektorn (CFPB) utfärdade snabbt riktlinjer som motsatte sig denna användning och sade: ”Det finns inget särskilt undantag för artificiell intelligens,” eftersom man oroade sig för att de datauppsättningar som användes för beslutsfattande inte alltid var relevanta för individens ekonomi.
På andra sidan Atlanten listade EU:s AI-förordning en uppsättning förbjudna handlingar som skulle träda i kraft i februari 2025. Bland de förbjudna handlingarna finns användning av AI för social poängsättning, vilket i praktiken innebär att AI-system används för att utvärdera eller klassificera individer utifrån socialt beteende eller egenskaper. I likhet med CFPB:s farhågor fokuserar EU på olagligt och partiskt beslutsfattande (eller kategorisering) av individer och valde att helt förbjuda denna typ av beteende hos AI-system.
Att lägga grunden
Som tur är har den första vågen av generativ AI tvingat samhället, styrelserummen och ledningsgrupperna att börja granska de svårhanterliga frågorna kring partiskhet, hallucinationer och betydande påverkan till följd av våra modellers utveckling.
Och ledare har kommit fram till två grundläggande principer när de hanterar AI-agenternas risker och möjligheter.
- Varje organisation som vill införa AI-agenter måste ha en oberoende och heltäckande process för riskbedömning av användningsfall. En formell process för riskbedömning av användningsfall avgör hur en organisations egna risker hanteras och hur dess AI-agent distribueras. För att etablera denna process måste du säkerställa att din organisation har bildat ett tvärfunktionellt team (vilket är avgörande för att säkerställa bred täckning av alla typer av AI-agentrisker) som är helt fokuserat på att på ett heltäckande sätt bedöma riskerna med en AI-agent, inklusive:
- Identifiering och inventering av relevanta riskfaktorer som omfattar risktyper såsom operativa risker, anseenderisker, juridiska risker, efterlevnadsrisker, etiska risker, teknikrisker och informationssäkerhetsrisker
- En kartläggning av förväntningar på kontroller och tillsyn i förhållande till framväxande bästa praxis för riskhantering inom AI, inklusive sådan praxis från International Organization for Standardization (ISO) och National Institute of Standards and Technology (NIST), samt nya branschkontroller (både automatiserade och med en människa i loopen), och
- Identifiering av kvarstående risker från AI-agenters användningsfall.
- Vi kan inte förlita oss på modellleverantörer när det gäller att tillhandahålla nödvändiga säkerhetsverktyg. Organisationer måste utveckla skyddsräcken och verktyg för efterlevnad oberoende av modellleverantörer för att upprätthålla tillräckliga kontroller över våra generativa AI-system.
- Modellsäkerhet kan inte överlåtas åt modellutvecklare. OpenAI:s GPT-4o-modell presterar sämre (21 %) än interna modeller när det gäller säkerhetsskydd och andra uppgifter inom säkerhetsefterlevnad. Modellleverantörer kan ha snäva definitioner av säkerhet eller skyddsräcken som inte är lämpliga för din organisations storlek, komplexitet, risktolerans eller etiska krav.
- Vad innebär det att överlåta säkerhetskontrollen till någon annan än den egna organisationen? Organisationer måste beakta riskerna med att vara utlämnade åt antingen oavsiktliga (tjänsteavbrott, implicit partiskhet) eller avsiktliga (bristande transparens, modeller som över tid inte längre är i linje med målen) säkerhetsrisker som orsakas av modellleverantören.
Modulära skyddsräcken för AI-agenter
Så hur bör du som teknikledare tänka kring de tillämpade skyddsräckena (dvs. kontrollerna) för att minska de risker som nämns ovan?
Lyckligtvis är detta ett område med många effektiva teorier, så vi bör ta lärdom av framstående AI-akademiker och yrkesverksamma, däribland professor Yoshua Bengio, samt andra ledande akademiker som Nobelpristagaren professor Geoffrey Hinton, Massachusetts Institute of Technologys professor Max Tegmark och otaliga andra. Rådet? Tvådelat…
- Dela upp agentisk AI i modulära uppgifter och arbetsflöden
- Upprätta skyddsräcken och kontroller för varje separat steg
Att dela upp skapandeflödet för en agentisk AI-modell i mindre, modulära uppgifter minskar naturligt risken med automatiserat skapande, stöder grundorsaksanalys och möjliggör enklare mänskliga ingripanden och tillsyn.
I stället för att till exempel be en agentisk AI att ”skriva en affärsrapport för fjärde kvartalet som analyserar kassaflöden”, kan du konfigurera AI-agenten att slutföra uppgiften stegvis, bland annat genom att:
1) Skapa pivottabellen i ett Excel-ark för att organisera kassaflöden efter månad och organisation,
2) Genomföra en jämförelse med tidigare kvartal, och
3) Sammanfatta övergripande trender i en rapport!
När denna struktur har etablerats bör skyddsräcken konfigureras för varje separat steg. Genom att behandla agentiska system som verktyg, inte som helt autonoma system från början till slut, kan du förhindra katastrofala utfall, såsom att agentiska AI-system vilseledande ändrar siffror (något som OpenAI:s senaste modell, o1, enligt dokumentation gör 19 % av gångerna).
Genom att införa ett skyddsräcke i varje steg av processen får organisationer möjlighet att etablera effektiva, detaljerade och strikta nivåer av kontroll och tillsyn över vilken typ av data agenter får använda, hur de får använda den och vilka slutsatser som kan dras.
Härifrån handlar det om den evidens (och övervakning) som du installerar. Löpande rapportering av efterlevnad, utbildning, bevarande av dokumentation, granskningsloggar, oberoende valideringar samt rapporterings- och eskaleringsprotokoll för styrning spelar alla en roll i att ge insyn i det omfattande ekosystem av intressenter som en AI-agent kan ha.
Kritiska frågor att ställa
I slutändan måste varje teknikledare ställa och besvara några kritiska frågor innan organisationen går vidare med AI-agentspåret inom sin sektor:
- Känner vi oss bekväma med de kontroller vi har tillgängliga för att begränsa de inneboende risker som identifierats genom vårt användningsfall?
- Om vi har ett kontrollramverk, känner vi oss då bekväma med att hantera tillsynen över dessa kontroller?
- Om vi inte har kontrollerna på plats, bör vi då gå vidare?
- Har vi ett ramverk på plats för att kontinuerligt övervaka nya risker som härrör från framsteg inom agentbaserad AI?
- Har vi gjort en oberoende bedömning av våra tredjepartsmodeller?
- Har vi tillräckliga jämförelser för att bedöma prestandan mot de värden och inbyggda skyddsmekanismer som vi förväntar oss?
- Anser vi att säkerhetskontrollerna överensstämmer med våra standarder och att vi har kontroll?
- Vilken roll kommer mänsklig tillsyn att spela i vårt införande?
- Kommer vår organisation att ha rätt personer, processer och teknik för att spela en aktiv roll i tillsynen av våra AI-agenter?
- Känner vi oss bekväma med att uppgifterna i vårt användningsfall slutförs autonomt?
Du kanske inte tycker om svaren, eller så leder de kanske inte till en riskaptit som din organisation är villig att acceptera, men som man säger, sanningen förändras inte bara för att vi väljer att inte se den!
Prenumerera på nyhetsbrevet från The CTO Club för fler insikter om AI.
