Gli Agenti AI Autonomi Sono una Bomba a Orologeria Senza le Dovute Barriere di Sicurezza

Oggi, i leader tecnologici si trovano ad affrontare una raccolta di rischi immediati ma critici (ancora degni di Hollywood) che ostacolano il progresso operativo. I rischi più discussi tra i leader tecnologici nelle sale del consiglio comprendono: 

• Perdita di una supervisione umana efficace, anche su molte piccole decisioni che si accumulano (ossia vedere come viene fatta la "salsiccia", come viene talvolta chiamato);
• Impatto psicologico sugli individui, inclusi attaccamenti malsani o dannosi da parte degli utenti;
• Attività non autorizzate o malevole;
• Impatti rilevanti sulla salute, sulla sicurezza o sul benessere finanziario a causa di decisioni errate o di parte; e
• Manipolazione o coercizione attiva che induce gli individui a prendere decisioni che altrimenti non avrebbero preso.

Altri rischi includono questioni di privacy, preoccupazioni sui dati e impatti sulla società nel suo complesso. Se hai letto storie sulle ‘bot farm’ dell'AI che diffondono disinformazione per fini politici, conosci già l'impatto.

Quando l'AI è in grado di amplificare le decisioni sulle attività quotidiane (dove guidiamo, cosa mangiamo, cosa guardiamo) senza il coinvolgimento umano, che impatto ha questo sugli individui, sulla società e sul nostro percorso collettivo? 

Un ultimo rischio che dobbiamo sottolineare, collegato a molte delle voci sopra elencate e probabilmente il più esistenziale, è l'incapacità degli agenti AI di valutare portata e impatto delle proprie azioni.

Vedi, un agente AI eseguirà sempre perfettamente le richieste dei suoi programmatori. Tuttavia, manca della capacità umana di raggiungere un equilibrio tra processo, etica, efficienza, trasparenza, velocità, comprensione, impatto sociale, ecc.

Un agente AI non è in grado di bilanciare tutti questi fattori reali e umani per raggiungere uno stato di "abbastanza buono" o di equilibrio. Un agente AI sarà sempre focalizzato su un solo obiettivo, massimizzando l'esecuzione del compito il più possibile.

Il celebre esperto di AI Professor Yoshua Bengio, tra gli altri, ha sottolineato che i rischi legati agli agenti AI sono i più preoccupanti tra tutti i rischi dell'AI generativa e che questi modelli potrebbero ottimizzare verso uno scopo sconosciuto e ininterpretabile dalle persone (anche se gli obiettivi sono fissati dagli umani). Ciò potrebbe avere conseguenze catastrofiche. 

JOIN THE COMMUNITY

Upgrade your inbox with more tech leadership wisdom for delivering better software and systems.

Sign up with:

LinkedInGoogleMicrosoft

Or sign up with email:

Name

This field is for validation purposes and should be left unchanged.

Name*

First name Last name

Business email*

This field is hidden when viewing the form

Free Account Module

Bottom BarLanding PageFooterInlinePop UpSidebarSSO

LinkedIn profile

Seniority*

Select an optionExecutive / C-suiteVPDirectorManagerIndividual ContributorOther

Company's AI adoption maturity*

Select an optionExploring opportunitiesRunning pilotsScaling adoptionEmbedded in the business model

I regolatori richiedono controlli supportati da prove

Con questi rischi in mente, i regolatori mondiali stanno preparando il terreno affinché i leader tecnologici possano stabilire controlli efficaci contro questi rischi (sebbene con cautela), facendo sapere alle organizzazioni ciò che è, e ciò che non è, accettabile in questa fase nelle nostre società.

Negli Stati Uniti, le agenzie di valutazione del credito e l'industria dei mutui hanno cercato di applicare il processo decisionale automatizzato alle decisioni di credito e ai processi di concessione dei mutui. Il Consumer Financial Protection Bureau (CFPB) ha prontamente emesso una guida per contrastare questo utilizzo, affermando: "Non esiste un'esenzione speciale per l'intelligenza artificiale", con la preoccupazione che i set di dati utilizzati per il processo decisionale non fossero sempre rilevanti per la situazione finanziaria di un individuo. 

Dall'altra parte dell'Atlantico, l'AI Act dell'UE ha elencato una serie di Atti Proibiti, che entreranno in vigore a febbraio 2025. Tra gli Atti Proibiti vi è l'uso dell'AI per il social scoring, cioè l'utilizzo di sistemi AI per valutare o classificare individui in base a comportamenti o caratteristiche sociali. Non diversamente dalle preoccupazioni del CFPB, l'Unione Europea si concentra su decisioni (o categorizzazioni) illecite e di parte riguardanti gli individui e ha scelto di vietare in modo esplicito questo tipo di comportamento nei sistemi AI. 

Ponendo le basi 

Per fortuna, questa prima ondata di AI generativa ha costretto la società, i consigli di amministrazione e i gruppi di leadership a iniziare ad affrontare le questioni spinose di bias, allucinazione e impatto sostanziale dovuto ai progressi dei nostri modelli.

E i leader sono giunti a due principi fondamentali quando si tratta di gestire i rischi e cogliere le opportunità degli agenti AI. 

1. Ogni organizzazione che intende implementare agenti AI deve disporre di un processo indipendente e completo di valutazione dei rischi per ciascun caso d'uso. Un processo formale di valutazione dei rischi dei casi d'uso determina come viene gestito il rischio interno all'organizzazione e come viene implementato il proprio agente AI. Per stabilire questo processo, è necessario assicurarsi che la propria organizzazione abbia creato un team interfunzionale (fondamentale per garantire una copertura ampia su tutti i tipi di rischi legati agli agenti AI) specializzato nella valutazione approfondita dei rischi di un agente AI, tra cui:
   • Identificazione e inventario dei fattori di rischio rilevanti che coprono tipologie di rischio quali operative, reputazionali, legali, di conformità, etiche, tecnologiche e di sicurezza delle informazioni
   • Mappatura delle aspettative di controllo e supervisione rispetto alle best practice emergenti di gestione dei rischi dell'IA, comprese quelle dell’International Standard of Organization (ISO) e del National Institute of Standards and Technology (NIST), oltre ai nuovi controlli di settore (sia automatizzati che con intervento umano), e
   • Identificazione dei rischi residui derivanti dall’utilizzo di casi d'uso degli agenti AI.
2. Non possiamo affidarci ai fornitori di modelli per dotarci degli strumenti di sicurezza necessari. Le organizzazioni devono sviluppare barriere e strumenti di conformità in modo indipendente dai fornitori di modelli, per mantenere un controllo adeguato sui sistemi di intelligenza artificiale generativa.
   • La sicurezza del modello non può essere lasciata agli sviluppatori di modelli. Il modello GPT-4o di OpenAI ha performance inferiori (21% peggio) rispetto a soluzioni sviluppate internamente sulla sicurezza delle barriere e altri compiti di conformità della sicurezza. I fornitori di modelli potrebbero avere definizioni di sicurezza troppo ristrette o barriere inadatte alle dimensioni, complessità, tolleranza al rischio o requisiti etici della vostra organizzazione.
   • Cosa significa cedere il controllo della sicurezza a chiunque altro che non sia la propria organizzazione? Le organizzazioni devono valutare i rischi legati al rimanere in balia di rischi di sicurezza portati dal fornitore del modello, siano essi involontari (interruzioni di servizio, bias impliciti) o intenzionali (mancanza di trasparenza, modelli disallineati nel tempo). 

Barriere Modulari per Agenti AI 

Quindi, come possono i leader tecnologici ragionare sull’applicazione di barriere (ossia controlli) per mitigare i rischi menzionati sopra?

Fortunatamente, questo è un ambito che gode di numerose teorie efficaci, quindi è utile prendere spunto dai migliori accademici e specialisti di IA, inclusi il Professor Yoshua Bengio, altri eminenti accademici come il Premio Nobel Professor Geoffrey Hinton, il Professor Max Tegmark del Massachusetts Institute of Technology, e molti altri. Il consiglio? Doppio…

1. Scomporre l'agente AI in compiti e flussi di lavoro modulari 
2. Stabilire barriere e controlli per ciascun passo separato

Scomporre il flusso di creazione di un modello di agente AI in compiti più piccoli e modulari riduce naturalmente il rischio dell’automazione, facilita la analisi delle cause profonde (root cause analysis) e permette un intervento e una supervisione umana più agevoli.

Ad esempio, invece di chiedere a un agente AI di "scrivere un report aziendale del Q4 analizzando i flussi di cassa", si può impostare l’Agente AI affinché esegua l’attività a tappe, comprendendo:

1) Costruire una tabella pivot in un file Excel per organizzare i flussi di cassa per mese e per organizzazione,

2) Eseguire il confronto con i trimestri precedenti, e

3) Riassumere le tendenze generali in un report!

Una volta stabilito questo quadro, occorre creare barriere per ogni singolo passaggio. Trattando i sistemi agentici come strumenti e non come sistemi interamente autonomi end-to-end, si possono prevenire esiti catastrofici, come il caso dei sistemi AI agentici che modificano i numeri in maniera ingannevole (cosa documentata nel 19% dei casi con l’ultimo modello OpenAI, o1).

Implementare una barriera a ciascun passaggio del processo permette alle organizzazioni di stabilire livelli di controllo e supervisione efficaci, dettagliati e rigorosi rispetto ai dati utilizzabili dagli agenti, al loro utilizzo e alle conclusioni tratte.

Da qui, tutto si incentra sulle evidenze (e monitoraggi) che si installano. Report di conformità continuativi, formazione, conservazione dei registri, log di audit, validazioni indipendenti, meccanismi di report e procedure di escalation di governance svolgono tutti un ruolo fondamentale nel fornire trasparenza nell’ampio ecosistema di portatori di interesse che può coinvolgere un agente AI. 

Domande Critiche da Porsi

In definitiva, ogni leader tecnico deve porsi e rispondere ad alcune domande critiche prima di intraprendere la strada degli Agenti AI nel proprio settore:

• Siamo sicuri dei controlli a nostra disposizione per mitigare i rischi intrinseci individuati attraverso il nostro caso d'uso?
  • Se disponiamo del framework di controllo, siamo a nostro agio nel gestire la supervisione di questi controlli?
  • Se non abbiamo i controlli in atto, dovremmo procedere?
  • Abbiamo un quadro che ci consenta di monitorare costantemente i nuovi rischi derivanti dagli sviluppi dell’Intelligenza Artificiale agentica?
• Abbiamo valutato in modo indipendente i nostri modelli di terze parti?
  • Abbiamo dei parametri di riferimento per valutare le prestazioni rispetto ai valori e alle barriere di sicurezza che ci aspettiamo siano integrate?
  • Crediamo che i controlli di sicurezza siano allineati ai nostri standard e che il controllo sia nelle nostre mani? 
• Quale ruolo avrà la supervisione umana nella nostra implementazione?
  • La nostra organizzazione dispone delle persone, dei processi e delle tecnologie giuste per svolgere un ruolo attivo nella supervisione degli agenti AI?
  • Siamo sicuri che le attività del nostro caso d'uso possano essere svolte in modo autonomo?  

Potresti non gradire le risposte, o potrebbero non portare a un livello di rischio che la tua organizzazione è disposta ad accettare, ma come si suol dire, la verità non cambia solo perché scegliamo di non vederla! 

Iscriviti alla newsletter di The CTO Club per maggiori approfondimenti sull’AI.