Os agentes de IA autónomos são uma bomba-relógio sem as salvaguardas adequadas

A maioria de nós questiona-se se 2025 será o ano em que os agentes de Inteligência Artificial (IA) finalmente deixarão de sugerir músicas para listas de reprodução e começarão a governar o mundo. E não muito atrás estará o agente de IA autónomo — basicamente, uma IA que não só pensa por si própria, como também poderá pedir um aumento.

Mas, com os riscos existenciais em cima da mesa (abdicar da autonomia, alguém?), haverá uma estratégia de salvaguardas para disponibilizar uma IA segura? Vamos concentrar-nos nos grandes riscos e falar sobre a abordagem que pode adotar para aplicar controlos no local certo, com as evidências certas e para a supervisão humana adequada. 

O vasto mundo dos riscos dos agentes de IA 

Os mais velhos entre nós cresceram cautelosos perante os resultados distópicos de 2001: Odisseia no Espaço ou Blade Runner, enquanto os mais jovens se lembram de WALL-E e dos benefícios que a IA poderia trazer para a humanidade.

Atualmente, os líderes tecnológicos estão a lidar com um conjunto de riscos imediatos, mas críticos (ainda dignos de Hollywood), que dificultam o avanço operacional. Entre os riscos mais debatidos pelos líderes tecnológicos nas salas de administração encontram-se: 

• Perda de uma supervisão humana eficaz, incluindo em muitas decisões pequenas e cumulativas (ver como se faz a salsicha, como por vezes se diz);
• Impacto psicológico nos indivíduos, incluindo a criação de ligações pouco saudáveis ou prejudiciais por parte dos utilizadores;
• Atividade não autorizada ou maliciosa;
• Impacto material na saúde, segurança ou bem-estar financeiro em resultado de tomadas de decisão erradas ou enviesadas; e
• A manipulação ou coerção ativa leva os indivíduos a tomar decisões que, de outro modo, poderiam não tomar.

Outros riscos incluem a privacidade, questões relacionadas com os dados e um impacto social abrangente. Se leu notícias sobre as ‘fábricas de bots’ de IA que espalham desinformação para obter ganhos políticos, está familiarizado com o impacto.

Quando a IA tem autonomia para ampliar decisões em tarefas diárias (onde conduzimos, o que comemos, o que vemos) sem intervenção humana, o que é que isso faz aos indivíduos, à sociedade e à nossa trajetória coletiva? 

Um último risco que devemos destacar, relacionado com muitos dos pontos acima mencionados e talvez o mais existencial, é a incapacidade dos agentes de IA para avaliar a dimensão e o impacto resultantes das suas ações.

É que um agente de IA executará sempre na perfeição as exigências dos seus programadores. No entanto, não possui a capacidade humana de alcançar um equilíbrio entre processo, ética, eficiência, transparência, rapidez, compreensão, impacto social, etc.

Um agente de IA não é capaz de equilibrar todos estes fatores reais e humanos para alcançar um estado de “suficientemente bom” ou de equilíbrio. Um agente de IA estará apenas concentrado num objetivo singular: maximizar a conclusão da tarefa na máxima medida possível.

O mundialmente reconhecido especialista em IA Professor Yoshua Bengio, entre outros, observou que os riscos dos agentes de IA são os mais preocupantes de todos os riscos da IA generativa e que estes modelos podem otimizar em direção a um objetivo desconhecido e ininterpretável pelas pessoas (mesmo que os objetivos sejam definidos por humanos). Isto poderia ter consequências catastróficas. 

Os reguladores exigem controlos comprovados

Tendo em mente esses riscos, os reguladores mundiais estão a lançar as bases para que os líderes tecnológicos estabeleçam controlos eficazes sobre estes riscos (embora com cautela) e a informar as organizações sobre o que é, e não é, aceitável nesta fase nas nossas sociedades.

Nos EUA, a agência de informação ao consumidor e o setor hipotecário procuraram aplicar a tomada de decisões automatizada aos processos de decisão de crédito e de avaliação de pedidos de crédito hipotecário. A Agência de Proteção Financeira do Consumidor (CFPB) emitiu rapidamente orientações que rejeitavam esta utilização, afirmando: “Não existe nenhuma isenção especial para a inteligência artificial”, manifestando preocupação pelo facto de os conjuntos de dados utilizados na tomada de decisões nem sempre serem relevantes para a situação financeira de um indivíduo. 

Do outro lado do Atlântico, o Regulamento da UE sobre a IA enumerou um conjunto de Atos proibidos, cuja entrada em vigor estava prevista para fevereiro de 2025. Entre os atos proibidos encontra-se a utilização da IA para a classificação social, utilizando essencialmente sistemas de IA para avaliar ou classificar indivíduos com base no comportamento ou em características sociais. À semelhança das preocupações do CFPB, a UE centra-se na tomada de decisões (ou categorização) ilegal e enviesada de indivíduos e optou por proibir liminarmente este tipo de comportamento por parte dos sistemas de IA. 

Estabelecer as bases 

Felizmente, esta primeira vaga de IA generativa obrigou a sociedade, as salas de administração e as equipas de liderança a começarem a analisar as questões complexas do enviesamento, das alucinações e do impacto material resultante dos avanços dos nossos modelos.

E os líderes chegaram a dois princípios fundamentais ao lidar com os riscos e as oportunidades dos agentes de IA. 

1. Cada organização que procure implementar agentes de IA deve ter um processo independente e abrangente de avaliação de riscos de casos de utilização. Um processo formal de avaliação de riscos de casos de utilização determinará como o próprio risco de uma organização é gerido e como o seu agente de IA é implementado. Para estabelecer este processo, deve garantir que a sua organização criou uma equipa multifuncional (essencial para assegurar uma cobertura abrangente de todos os tipos de riscos associados aos agentes de IA) focada exclusivamente na avaliação abrangente dos riscos de um agente de IA, incluindo:
   • Identificação e inventário dos fatores de risco relevantes, abrangendo tipos de risco como riscos operacionais, reputacionais, legais, de conformidade, éticos, tecnológicos e de segurança da informação
   • Mapeamento das expectativas de controlo e supervisão com as melhores práticas emergentes de gestão de riscos de IA, incluindo as da Organização Internacional de Normalização (ISO) e do National Institute of Standards and Technology (NIST), bem como novos controlos do setor (tanto automatizados como com intervenção humana) e
   • Identificação dos riscos residuais decorrentes dos casos de utilização de agentes de IA.
2. Não podemos depender dos fornecedores de modelos para disponibilizarem as ferramentas de segurança necessárias. As organizações devem desenvolver, de forma independente dos fornecedores de modelos, mecanismos de proteção e ferramentas de conformidade para manter controlos adequados sobre os nossos sistemas de IA generativa.
   • A segurança dos modelos não pode ser deixada ao critério dos seus criadores. O modelo GPT-4o da OpenAI tem um desempenho inferior (21% pior) ao dos modelos internos em tarefas de segurança relacionadas com mecanismos de proteção e outras tarefas de conformidade de segurança. Os fornecedores de modelos podem ter definições restritas de segurança ou mecanismos de proteção inadequados à dimensão, complexidade, tolerância ao risco ou requisitos éticos da sua organização.
   • O que significa abdicar do controlo da segurança em favor de qualquer entidade que não seja a sua organização? As organizações devem considerar os riscos de ficarem à mercê de riscos de segurança não intencionais (interrupções de serviço, preconceito implícito) ou intencionais (falta de transparência, modelos desalinhados ao longo do tempo) introduzidos pelo fornecedor do modelo. 

Mecanismos de proteção modulares para agentes de IA 

Assim, enquanto líderes tecnológicos, como devem pensar nos mecanismos de proteção aplicados (ou seja, nos controlos) para mitigar os riscos acima mencionados?

Felizmente, este é um domínio que dispõe de muitas teorias eficazes, pelo que devemos prestar atenção aos principais académicos e profissionais de IA, incluindo o Professor Yoshua Bengio, bem como a outros académicos de referência, como o Professor Geoffrey Hinton, laureado com o Prémio Nobel, o Professor Max Tegmark, do Massachusetts Institute of Technology, e muitos outros. O conselho? Duplo…

1. Dividir a IA baseada em agentes em tarefas e fluxos de trabalho modulares 
2. Configurar mecanismos de proteção e controlos para cada etapa individual 

Dividir o fluxo de criação de um modelo de IA baseada em agentes em tarefas mais pequenas e modulares reduz naturalmente o risco da criação automatizada, apoia a análise da causa raiz e permite uma intervenção e supervisão humanas mais fáceis.

Por exemplo, em vez de pedir a uma IA baseada em agentes para “redigir um relatório empresarial do quarto trimestre que analise os fluxos de caixa”, configure o Agente de IA para concluir a tarefa por etapas, incluindo:

1) Construir a tabela dinâmica numa folha de Excel para organizar os fluxos de caixa por mês e organização,

2) Efetuar a comparação com os trimestres anteriores e

3) Resumir as tendências gerais num relatório!

Uma vez estabelecida essa estrutura, devem ser configurados mecanismos de proteção para cada etapa individual. Ao tratar os sistemas baseados em agentes como ferramentas, e não como sistemas autónomos de ponta a ponta, pode evitar resultados catastróficos, como os sistemas de IA baseada em agentes alterarem números de forma enganosa (algo que foi documentado em relação ao mais recente modelo da OpenAI, o1, em 19% das vezes).

Implementar um mecanismo de proteção em cada etapa do processo permite às organizações estabelecer níveis de controlo e supervisão eficazes, detalhados e rigorosos relativamente ao tipo de dados que os agentes podem utilizar, à forma como os podem utilizar e às conclusões que podem ser retiradas.

A partir daqui, a questão passa a ser a evidência (e a monitorização) que instala. Os relatórios contínuos de conformidade, a formação, a retenção de registos, os registos de auditoria, as validações independentes e os protocolos de comunicação e escalamento em matéria de governação desempenham todos um papel na disponibilização de informações sobre o vasto ecossistema de partes interessadas que um agente de IA pode ter. 

Perguntas críticas a colocar

Em última análise, todos os líderes técnicos devem colocar e responder a algumas perguntas críticas antes de avançarem com a adoção de agentes de IA no seu setor:

• Sentimo-nos confortáveis com os controlos que temos disponíveis para mitigar os riscos inerentes identificados através da utilização do nosso caso de utilização?
  • Se tivermos o quadro de controlos, sentimo-nos confortáveis a gerir a supervisão desses controlos?
  • Se não tivermos os controlos implementados, devemos avançar?
  • Temos um quadro implementado para monitorizar continuamente os novos riscos decorrentes dos avanços na IA agêntica?
• Avaliámos de forma independente os nossos modelos de terceiros?
  • Dispomos de aferição comparativa para avaliar o desempenho face aos valores e mecanismos de proteção incorporados que esperamos?
  • Acreditamos que os controlos de segurança estão alinhados com os nossos padrões e que temos o controlo? 
• Que papel desempenhará a supervisão humana na nossa implementação?
  • A nossa organização terá as pessoas, os processos e a tecnologia adequados para desempenhar um papel ativo na supervisão dos nossos agentes de IA?
  • Sentimo-nos confortáveis com a conclusão autónoma das tarefas do nosso caso de utilização?  

Poderá não gostar das respostas, ou estas poderão não conduzir a um apetite pelo risco que a sua organização esteja disposta a suportar, mas, como se costuma dizer, a verdade não muda só porque escolhemos não a ver! 

Subscreva a newsletter do The CTO Club para obter mais informações sobre IA.