Los agentes de IA autónomos son una bomba de tiempo sin las debidas salvaguardas

Hoy en día, los líderes tecnológicos se enfrentan a un conjunto de riesgos inmediatos pero críticos (aún dignos de Hollywood) que dificultan el avance operativo. Los riesgos más discutidos entre los líderes tecnológicos en la sala de juntas incluyen: 

• Pérdida de supervisión humana efectiva, incluso en muchas decisiones pequeñas y acumulativas (ver cómo se hace la "salchicha", como a veces se dice);
• Impacto psicológico en los individuos, incluyendo vínculos poco saludables o perjudiciales por parte de los usuarios;
• Actividad no autorizada o malintencionada;
• Impacto material en la salud, la seguridad o el bienestar financiero como resultado de una toma de decisiones defectuosa o sesgada; y
• La manipulación o coacción activa provoca que las personas tomen decisiones que de otro modo no tomarían.

Otros riesgos incluyen la privacidad, preocupaciones sobre los datos y el impacto social a gran escala. Si has leído historias acerca de las ‘granjas de bots’ de IA que difunden desinformación con fines políticos, conoces el impacto.

Cuando a la IA se le otorga la facultad de escalar decisiones sobre tareas cotidianas (por dónde conducimos, qué comemos, qué vemos) sin intervención humana en el proceso, ¿qué implica esto para los individuos, la sociedad y nuestra trayectoria colectiva? 

Un último riesgo que debemos destacar, relacionado con muchos de los puntos anteriores y tal vez el más existencial, es la incapacidad de los agentes de IA para evaluar el alcance y el impacto de sus acciones.

Verás, un agente de IA siempre cumplirá las instrucciones de sus programadores a la perfección. Pero carecen de la capacidad humana para lograr un equilibrio entre proceso, ética, eficiencia, transparencia, velocidad, comprensión, impacto social, etc.

Un agente de IA no es capaz de equilibrar todos estos factores reales y humanos para alcanzar un estado suficientemente bueno o de equilibrio. Un agente de IA solo se centrará en un objetivo singular, maximizando la realización de tareas al máximo.

El renombrado experto en IA Profesor Yoshua Bengio, entre otros, ha señalado que los riesgos de los agentes de IA son los más preocupantes de todos los riesgos de la IA generativa y que estos modelos pueden optimizarse hacia un objetivo desconocido e ininterpretable por las personas (incluso si las metas son establecidas por humanos). Esto podría tener consecuencias catastróficas. 

JOIN THE COMMUNITY

Upgrade your inbox with more tech leadership wisdom for delivering better software and systems.

Sign up with:

LinkedInGoogleMicrosoft

Or sign up with email:

Name

Este campo es un campo de validación y debe quedar sin cambios.

Name*

First name Last name

Business email*

Este campo está oculto cuando se visualiza el formulario

Free Account Module

Bottom BarLanding PageFooterInlinePop UpSidebarSSO

LinkedIn profile

Seniority*

Select an optionExecutive / C-suiteVPDirectorManagerIndividual ContributorOther

Company's AI adoption maturity*

Select an optionExploring opportunitiesRunning pilotsScaling adoptionEmbedded in the business model

Los reguladores exigen controles fundamentados en evidencia

Con estos riesgos en mente, los reguladores globales están sentando las bases para que los líderes tecnológicos establezcan controles efectivos frente a estos riesgos (aunque con cautela), y comunicando a las organizaciones lo que es, y lo que no es, aceptable en esta etapa en nuestras sociedades.

En Estados Unidos, la agencia de informes de crédito y la industria hipotecaria han intentado aplicar la toma de decisiones automatizada en los procesos de préstamo y evaluación hipotecaria. La Oficina de Protección Financiera del Consumidor (CFPB, por sus siglas en inglés) emitió rápidamente una directriz rechazando este uso, diciendo: “No hay ninguna exención especial para la inteligencia artificial", con preocupaciones de que los conjuntos de datos utilizados para la toma de decisiones no siempre eran relevantes para las finanzas de una persona. 

Al otro lado del Atlántico, la Ley de IA de la UE ha enumerado una serie de Actos Prohibidos, que entrarán en vigor en febrero de 2025. Entre los Actos Prohibidos está el uso de la IA para la puntuación social, que esencialmente implica utilizar sistemas de IA para evaluar o clasificar a individuos según el comportamiento social o sus rasgos. De manera similar a las preocupaciones de la CFPB, la UE se centra en la toma de decisiones ilícita y sesgada (o categorización) de personas y ha decidido prohibir este tipo de comportamientos en los sistemas de IA de manera directa. 

Estableciendo la base 

Por suerte, esta primera ola de IA generativa ha obligado a la sociedad, los consejos de administración y los equipos de líderes a comenzar a analizar temas complejos como el sesgo, las alucinaciones y el impacto material resultado de los avances de nuestros modelos.

Y los líderes han llegado a dos principios fundamentales al abordar los riesgos y las oportunidades de los agentes de IA. 

1. Cada organización que busque implementar agentes de IA debe contar con un proceso independiente y exhaustivo de evaluación de riesgos para cada caso de uso. Un proceso formal de evaluación de riesgos determinará cómo se gestionan los riesgos propios de la organización y cómo se despliega su agente de IA. Para establecer este proceso, es necesario asegurar que la organización haya constituido un equipo multifuncional (fundamental para garantizar una cobertura amplia de todos los tipos de riesgos de los agentes de IA) altamente enfocado en evaluar de manera integral los riesgos de un agente de IA, incluyendo:
   • Identificación e inventario de factores de riesgo relevantes que abarquen tipos de riesgo como operativos, reputacionales, legales, de cumplimiento, éticos, tecnológicos y de seguridad de la información
   • Un mapeo de expectativas de control y vigilancia con las mejores prácticas emergentes de gestión de riesgos de IA, incluidas las de la Organización Internacional de Normalización (ISO) y el Instituto Nacional de Estándares y Tecnología (NIST), así como controles industriales novedosos (tanto automatizados como con intervención humana) y
   • Identificación de riesgos residuales derivados de los casos de uso de agentes de IA.
2. No podemos depender de los proveedores de modelos para proporcionar las herramientas de seguridad necesarias. Las organizaciones deben desarrollar límites de seguridad y herramientas de cumplimiento independientes de los proveedores de modelos para mantener controles adecuados sobre nuestros sistemas de IA generativa.
   • La seguridad del modelo no puede dejarse en manos de los desarrolladores de modelos. El modelo GPT-4o de OpenAI tiene dificultades (un 21% peor) en comparación con modelos internos para tareas de seguridad y cumplimiento. Los proveedores de modelos pueden tener definiciones estrechas de seguridad o establecer límites inadecuados para el tamaño, la complejidad, la tolerancia al riesgo o los requisitos éticos de tu organización.
   • ¿Qué significa ceder el control de la seguridad a alguien fuera de tu organización? Las organizaciones deben considerar los riesgos de estar sujetos tanto a riesgos de seguridad no intencionados (caídas de servicio, sesgo implícito) como intencionados (falta de transparencia, modelos que se desalinean con el tiempo) introducidos por el proveedor del modelo. 

Límites Modulares para Agentes de IA 

Entonces, ¿cómo deben pensar los líderes tecnológicos en los límites (es decir, controles) aplicados para mitigar los riesgos mencionados anteriormente?

Por suerte, este es un campo que cuenta con muchas teorías eficaces, por lo que debemos prestar atención a los principales académicos y profesionales de IA, incluido el profesor Yoshua Bengio, además de otros referentes como el laureado con el Premio Nobel, profesor Geoffrey Hinton, el profesor Max Tegmark del Instituto Tecnológico de Massachusetts, y muchos otros. ¿El consejo? Es doble…

1. Desglosar la IA agentiva en tareas y flujos de trabajo modulares 
2. Establecer límites y controles para cada etapa diferenciada

Descomponer el flujo de creación de un modelo de IA agentiva en tareas más pequeñas y modulares reduce naturalmente el riesgo de la automatización, ayuda en el análisis de la causa raíz y facilita la intervención y supervisión humana.

Por ejemplo, en lugar de decirle a una IA agentiva que “elabore un informe empresarial del cuarto trimestre analizando flujos de caja”, configura el Agente de IA para realizar la tarea por partes, incluyendo:

1) Construir la tabla dinámica en una hoja de Excel para organizar los flujos de caja por mes y por organización,

2) Completar la comparación con los trimestres anteriores, y

3) Resumir las tendencias generales en un informe.

Una vez establecido ese marco, se deben definir límites para cada etapa diferenciada. Al tratar los sistemas agentivos como herramientas, y no como sistemas autónomos de principio a fin, se pueden prevenir resultados catastróficos, como que los sistemas de IA agentiva alteren los datos de forma engañosa (algo que se ha documentado que hace el último modelo de OpenAI, o1, el 19% de las veces).

Implementar un límite en cada paso del proceso permite a las organizaciones establecer niveles de control y supervisión efectivos, detallados y estrictos en cuanto a qué tipo de datos pueden utilizar los agentes, cómo pueden utilizarlos y qué conclusiones pueden extraer.

A partir de aquí, lo importante es la evidencia (y la monitorización) que se implante. Los informes de cumplimiento continuo, la capacitación, la retención de registros, los logs de auditoría, las validaciones independientes, y los protocolos de reporte y escalamiento de gobernanza, todos desempeñan un papel para proporcionar visibilidad al vasto ecosistema de partes interesadas que puede tener un agente de IA. 

Preguntas Críticas que Hacer

En última instancia, todo líder técnico debe plantearse y responder algunas preguntas críticas antes de avanzar por el camino de los Agentes de IA en su sector:

• ¿Estamos conformes con los controles que tenemos disponibles para mitigar los riesgos inherentes identificados a través de nuestro caso de uso?
  • Si tenemos el marco de control, ¿estamos cómodos gestionando la supervisión de estos controles?
  • Si no tenemos los controles implementados, ¿deberíamos proceder?
  • ¿Tenemos un marco que nos permita monitorear continuamente los nuevos riesgos derivados de los avances en la IA agente?
• ¿Hemos evaluado de manera independiente nuestros modelos de terceros?
  • ¿Contamos con la referencia comparativa para evaluar el rendimiento respecto a los valores y límites de protección incorporados que esperamos?
  • ¿Creemos que los controles de seguridad se alinean con nuestros estándares y que tenemos el control?
• ¿Qué papel jugará la supervisión humana en nuestro despliegue?
  • ¿Tendrá nuestra organización las personas, los procesos y la tecnología adecuados para desempeñar un papel activo en la supervisión de nuestros agentes de IA?
  • ¿Estamos cómodos con que las tareas de nuestro caso de uso se completen de manera autónoma?

Puedes no estar de acuerdo con las respuestas, o puede que no conduzcan a un nivel de riesgo que tu organización esté dispuesta a asumir, pero como se suele decir, ¡la verdad no cambia solo porque elijamos no verla!

Suscríbete al boletín de The CTO Club para más perspectivas sobre IA.