Autonome AI-agenten zijn een tikkende tijdbom zonder de juiste waarborgen
Dystopische risico's of een gelukkig einde?: AI brengt potentiële risico's met zich mee, zoals verlies van toezicht en schadelijke besluitvorming, die doen denken aan de dystopische scenario's van Hollywood en gevolgen hebben voor het leven van individuen en maatschappelijke dynamiek.
De eenzijdige focus van AI: efficiëntie versus balans: AI kan geen balans vinden tussen veelzijdige menselijke belangen en richt zich uitsluitend op het behalen van gestelde doelen, wat tot catastrofale resultaten kan leiden als het niet goed wordt beheerd.
Toezichthouders nemen de controle over: Toezichthouders wereldwijd eisen concrete controles voor AI en verzetten zich tegen bevooroordeeld of onrechtmatig gebruik, zoals blijkt uit initiatieven als de EU AI-verordening en richtlijnen van het CFPB.
De rol van AI in ons dagelijks leven: Nu AI steeds vaker beslissingen neemt voor dagelijkse taken, blijven vragen over de maatschappelijke gevolgen ervan en de ontwikkeling van menselijke autonomie onbeantwoord.
De meesten van ons vragen zich af of 2025 het jaar wordt waarin AI-agenten eindelijk stoppen met het voorstellen van nummers voor afspeellijsten en de wereld gaan besturen. En niet ver daarachter zal de autonome AI-agent volgen—feitelijk een AI die niet alleen zelf nadenkt, maar misschien ook om loonsverhoging vraagt.
Maar nu existentiële risico's op tafel liggen (iedereen die zijn autonomie opgeeft?), is er dan een strategie met vangrails om veilige AI te leveren? Laten we ons richten op de belangrijkste risico's en bespreken welke aanpak je kunt hanteren om controles op de juiste plek toe te passen, met het juiste bewijs, voor het juiste menselijke toezicht.
De brede wereld van AI-agenterisico's
De oudsten onder ons groeiden op met argwaan tegenover de dystopische uitkomsten van A Space Odyssey of Blade Runner, terwijl de jongsten onder ons zich WALL-E herinneren en de voordelen die AI voor de mensheid zou kunnen hebben.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
Vandaag de dag hebben technologieleiders te maken met een verzameling onmiddellijke maar kritieke risico's (nog altijd Hollywoodwaardig) die operationele vooruitgang belemmeren. De meest voorkomende risico's die technologieleiders in de bestuurskamer bespreken, zijn onder meer:
- Verlies van effectief menselijk toezicht, ook op veel kleine, zich opstapelende beslissingen (zien hoe de worst wordt gemaakt, zoals dat soms wordt genoemd);
- Psychologische impact op individuen, waaronder ongezonde of schadelijke gehechtheid van gebruikers;
- Ongeautoriseerde of kwaadwillige activiteiten;
- Materiële gevolgen voor de gezondheid, veiligheid of het financiële welzijn als gevolg van gebrekkige of bevooroordeelde besluitvorming; en
- Manipulatie of actieve dwang zorgt ervoor dat individuen beslissingen nemen die ze anders misschien niet zouden nemen.
Andere risico's zijn privacy, zorgen over gegevens en brede maatschappelijke gevolgen. Als je verhalen hebt gelezen over de AI-‘botfarms’ die desinformatie verspreiden voor politiek gewin, ben je bekend met de impact.
Wanneer AI de mogelijkheid krijgt om beslissingen over dagelijkse taken op te schalen (waar we rijden, wat we eten, waar we naar kijken) zonder dat mensen in de lus zitten, wat doet dat dan met individuen, de samenleving en ons gezamenlijke traject?
Een laatste risico dat we moeten benadrukken, dat verband houdt met veel van de hierboven genoemde punten en misschien wel het meest existentieel is, is het onvermogen van AI-agenten om de schaal en impact als gevolg van hun acties te beoordelen.
Een AI-agent zal de eisen van zijn programmeurs altijd perfect uitvoeren. Maar AI-agenten missen het menselijke vermogen om een balans te vinden tussen proces, ethiek, efficiëntie, transparantie, snelheid, begrip, maatschappelijke impact enzovoort.
Een AI-agent is niet in staat al deze echte en menselijke factoren tegen elkaar af te wegen om een toestand te bereiken die ‘goed genoeg’ is of in evenwicht verkeert. Een AI-agent zal zich slechts op één enkel doel richten: het zo volledig mogelijk voltooien van taken.
De wereldwijd gerenommeerde AI-expert professor Yoshua Bengio heeft, net als anderen, opgemerkt dat de risico's van AI-agenten de zorgwekkendste zijn van alle risico's van generatieve AI en dat deze modellen kunnen optimaliseren richting een doel dat voor mensen onbekend en oninterpreteerbaar is (zelfs als de doelen door mensen zijn vastgesteld). Dit kan catastrofale gevolgen hebben.
Toezichthouders eisen onderbouwde controles
Met die risico's in gedachten leggen wereldwijde toezichthouders—zij het voorzichtig—de basis voor technologieleiders om effectieve controles op deze risico's in te stellen, en laten zij organisaties weten wat in dit stadium binnen onze samenlevingen wel en niet aanvaardbaar is.
In de VS hebben de instantie voor consumentenrapportage en de hypotheeksector geprobeerd geautomatiseerde besluitvorming toe te passen op kredietbeslissingen en het acceptatieproces voor hypotheken. Het Consumer Financial Protection Bureau (CFPB) bracht snel richtlijnen uit die zich tegen dit gebruik keerden en stelde: “Er is geen speciale vrijstelling voor kunstmatige intelligentie”, omdat gegevenssets die voor besluitvorming werden gebruikt niet altijd relevant waren voor de financiën van een individu.
Aan de andere kant van de oceaan somde de EU AI-wet een reeks verboden handelingen op, die vanaf februari 2025 van kracht zouden worden. Tot de verboden handelingen behoort het gebruik van AI voor sociale beoordeling, waarbij AI-systemen worden gebruikt om individuen te evalueren of in te delen op basis van sociaal gedrag of eigenschappen. Net als bij de zorgen van het CFPB richt de EU zich op onrechtmatige en bevooroordeelde besluitvorming (of categorisering) van individuen en heeft zij ervoor gekozen dit soort gedrag door AI-systemen volledig te verbieden.
De basis leggen
Gelukkig heeft deze eerste golf van generatieve AI de samenleving, bestuurskamers en leidinggevende teams gedwongen om zich te gaan verdiepen in de lastige kwesties rond vooringenomenheid, hallucinaties en materiële gevolgen die voortkomen uit de vooruitgang van onze modellen.
En leiders zijn tot twee kernprincipes gekomen bij het omgaan met de risico's en kansen van AI-agenten.
- Elke organisatie die AI-agenten wil implementeren, moet beschikken over een onafhankelijk en uitgebreid proces voor een risicobeoordeling van elk gebruiksscenario. Een formeel proces voor de risicobeoordeling van gebruiksscenario's bepaalt hoe het risico van een organisatie zelf wordt beheerd en hoe de AI-agent wordt geïmplementeerd. Om dit proces op te zetten, moet u ervoor zorgen dat uw organisatie een multidisciplinair team heeft samengesteld (essentieel om een brede dekking van alle soorten risico's van agentische AI te waarborgen) dat zich volledig richt op een uitgebreide beoordeling van de risico's van een AI-agent, met inbegrip van :
- Identificatie en inventarisatie van relevante risicofactoren die verschillende risicotypen omvatten, zoals operationele, reputatie-, juridische, compliance-, ethische, technologische en informatiebeveiligingsrisico's
- Een koppeling van verwachtingen op het gebied van beheersing en toezicht aan opkomende best practices voor risicobeheer voor AI, waaronder die van de Internationale Organisatie voor Standaardisatie (ISO) en het Nationaal Instituut voor Standaarden en Technologie (NIST), evenals nieuwe sectorale beheersmaatregelen (zowel geautomatiseerd als met een mens in de lus) en
- Identificatie van restrisico's van gebruiksscenario's voor AI-agenten.
- We kunnen er niet op vertrouwen dat modelaanbieders de noodzakelijke veiligheidstools leveren. Organisaties moeten onafhankelijk van modelaanbieders waarborgen en compliancetools ontwikkelen om adequate beheersing over onze generatieve AI-systemen te behouden.
- Modelveiligheid kan niet aan modelontwikkelaars worden overgelaten. Het GPT-4o-model van OpenAI presteert slechter (21%) dan modellen die intern zijn ontwikkeld op het gebied van veiligheidswaarborgen en andere beveiligings- en compliancetaken. Modelaanbieders kunnen een beperkte definitie van veiligheid hanteren of ongeschikte waarborgen hebben voor de omvang, complexiteit, risicotolerantie of ethische vereisten van uw organisatie.
- Wat betekent het om de controle over veiligheid aan iemand anders dan uw organisatie over te dragen? Organisaties moeten rekening houden met de risico's van afhankelijkheid van onopzettelijke (dienstonderbrekingen, impliciete vooringenomenheid) of opzettelijke (gebrek aan transparantie, modellen die na verloop van tijd niet meer op elkaar zijn afgestemd) beveiligingsrisico's die door de modelaanbieder worden veroorzaakt.
Modulaire waarborgen voor AI-agenten
Dus, hoe moeten technologieleiders nadenken over de toegepaste waarborgen (d.w.z. beheersmaatregelen) om de hierboven genoemde risico's te beperken?
Gelukkig is dit een gebied met veel effectieve theorieën, dus moeten we aandacht besteden aan vooraanstaande AI-wetenschappers en -praktijkmensen, waaronder professor Yoshua Bengio, evenals andere toonaangevende academici zoals Nobelprijswinnaar professor Geoffrey Hinton, professor Max Tegmark van het Massachusetts Institute of Technology en talloze anderen. Het advies? Tweeledig…
- Verdeel agentische AI in modulaire taken en werkstromen
- Stel voor elke afzonderlijke stap waarborgen en beheersmaatregelen in
Door de creatiestroom van een agentisch AI-model op te splitsen in kleinere, modulaire taken, wordt het risico van geautomatiseerde creatie op natuurlijke wijze verminderd, wordt oorzaakanalyse ondersteund en wordt menselijke interventie en toezicht eenvoudiger.
In plaats van een agentische AI bijvoorbeeld te instrueren om “een bedrijfsrapport over het vierde kwartaal te schrijven waarin de kasstromen worden geanalyseerd”, stelt u de AI-agent zo in dat deze de taak stapsgewijs uitvoert, waaronder:
1) Het maken van de draaitabel in een Excel-werkblad om kasstromen per maand en organisatie te ordenen,
2) Het uitvoeren van een vergelijking met voorgaande kwartalen, en
3) Het samenvatten van algemene trends in een rapport!
Zodra dit kader is vastgesteld, moeten voor elke afzonderlijke stap waarborgen worden ingesteld. Door agentische systemen te behandelen als hulpmiddelen, en niet als volledig autonome systemen van begin tot eind, kunt u catastrofale uitkomsten voorkomen, zoals agentische AI-systemen die op misleidende wijze cijfers wijzigen (iets waarvan is gedocumenteerd dat het nieuwste model van OpenAI, o1, dit in 19% van de gevallen doet).
Door in elke stap van het proces een waarborg te implementeren, kunnen organisaties effectieve, gedetailleerde en strikte niveaus van beheersing en toezicht instellen met betrekking tot het soort gegevens dat agenten mogen gebruiken, hoe ze deze mogen gebruiken en welke conclusies mogen worden getrokken.
Hierbij draait het om het bewijsmateriaal (en de monitoring) die u implementeert. Doorlopende compliancerapportage, training, bewaarbeleid voor gegevens, auditlogboeken, onafhankelijke validaties en protocollen voor governance-rapportage en escalatie spelen allemaal een rol bij het bieden van inzicht in het omvangrijke ecosysteem van belanghebbenden dat een AI-agent kan hebben.
Kritische vragen om te stellen
Uiteindelijk moet elke technologieleider enkele kritische vragen stellen en beantwoorden voordat hij of zij in zijn of haar sector de weg van de AI-agent inslaat:
- Zijn we comfortabel met de beheersmaatregelen die we beschikbaar hebben om de inherente risico's die via ons gebruiksscenario zijn geïdentificeerd, te beperken?
- Als we het beheersingskader hebben, zijn we er dan zeker van dat we toezicht op deze beheersmaatregelen kunnen houden?
- Als we de beheersmaatregelen niet hebben ingevoerd, moeten we dan doorgaan?
- Hebben we een kader om nieuwe risico's die voortkomen uit ontwikkelingen op het gebied van agentische AI voortdurend te monitoren?
- Hebben we onze modellen van derden onafhankelijk beoordeeld?
- Beschikken we over benchmarks om de prestaties te beoordelen aan de hand van de waarden en ingebouwde veiligheidswaarborgen die we verwachten?
- Zijn we van mening dat de veiligheidscontroles aansluiten bij onze normen en hebben we de controle?
- Welke rol zal menselijk toezicht spelen bij onze implementatie?
- Beschikt onze organisatie over de juiste mensen, processen en technologie om een actieve rol te spelen bij het toezicht op onze AI-agenten?
- Zijn we er comfortabel mee dat de taken binnen ons gebruiksscenario autonoom worden uitgevoerd?
Misschien bevallen de antwoorden je niet, of leiden ze misschien niet tot een risicobereidheid die je organisatie bereid is te aanvaarden, maar zoals ze zeggen, de waarheid verandert niet alleen omdat we ervoor kiezen haar niet te zien!
Abonneer je op de nieuwsbrief van The CTO Club voor meer inzichten over AI.
