Les agents IA autonomes sont une bombe à retardement sans garde-fous adéquats
Risques dystopiques ou fins heureuses ?: L'IA comporte des risques potentiels comme la perte de supervision et des prises de décisions nuisibles, évoquant les scénarios dystopiques d’Hollywood et impactant les individus et la société.
La focalisation unique de l’IA : efficacité ou équilibre: L’IA ne sait pas gérer des préoccupations humaines multiples ; elle poursuit un objectif fixé, ce qui peut entraîner des résultats catastrophiques si elle n’est pas bien encadrée.
Les régulateurs prennent la main: Les instances réglementaires mondiales exigent des dispositifs concrets pour l’IA, luttant contre les usages biaisés ou illégaux, à l’image de l’EU AI Act ou des directives CFPB.
Le rôle de l’IA dans notre quotidien: L’IA prend une place croissante dans nos décisions quotidiennes, et de nombreuses questions demeurent sur son impact sociétal et le devenir de notre autonomie.
La plupart d'entre nous se demandent si 2025 sera l'année où les agents d'Intelligence Artificielle (IA) cesseront enfin de suggérer des chansons de playlists pour commencer à gouverner le monde. Et l’agent IA Autonome ne sera pas loin derrière — en gros, une IA qui non seulement pense par elle-même mais pourrait aussi demander une augmentation.
Mais avec les risques existentiels en jeu (quelqu'un veut-il vraiment abandonner son autonomie ?), existe-t-il une stratégie de garde-fous pour fournir une IA sécurisée ? Ancrons-nous sur les grands risques et abordons la façon dont vous pouvez appliquer des contrôles au bon endroit, avec les bonnes preuves, pour une supervision humaine appropriée.
Le vaste monde des risques liés aux agents IA
Les plus âgés d’entre nous ont grandi méfiants à l’égard des futurs dystopiques comme 2001, l’Odyssée de l’espace ou Blade Runner, tandis que les plus jeunes se souviennent de WALL-E et des avantages potentiels de l’IA pour l’humanité.
Want more from The CTO Club?
Create a free account to finish this piece and join a community of CTOs and engineering leaders sharing real-world frameworks, tools, and insights for designing, deploying, and scaling AI-driven technology.
Have an account? Log In
Aujourd'hui, les responsables technologiques sont confrontés à un ensemble de risques immédiats mais critiques (toujours dignes d’Hollywood) qui freinent la progression opérationnelle. Les risques les plus fréquemment évoqués parmi les décideurs en technologie incluent :
- Perte de supervision humaine efficace, notamment sur de nombreuses décisions mineures qui s’additionnent (voir comment les choses sont faites, comme on dit parfois) ;
- Impact psychologique sur les individus, y compris les attaches malsaines ou nuisibles de la part des utilisateurs ;
- Activités non autorisées ou malveillantes ;
- Conséquences notables sur la santé, la sécurité ou la situation financière en raison de prises de décisions biaisées ou erronées ; et
- Manipulation ou coercition active amenant des individus à prendre des décisions qu’ils n’auraient pas faites autrement.
D’autres risques incluent la vie privée, les questions de données et l’impact sociétal global. Si vous avez lu des articles sur les « fermes de robots » IA diffusant de la désinformation à des fins politiques, vous voyez l’ampleur de l’impact.
Lorsque l’IA prend le pouvoir pour multiplier les décisions sur les tâches quotidiennes (où nous conduisons, ce que nous mangeons, ce que nous regardons) sans humains impliqués, quelles en sont les conséquences sur les individus, la société et notre trajectoire collective ?
Un dernier risque qu’il faut souligner, lié à nombre des éléments listés ci-dessus et peut-être le plus existentiel, est l’incapacité des agents IA à évaluer l’ampleur et l’impact de leurs actions.
Voyez-vous, un agent IA exécutera toujours les instructions de ses programmeurs à la perfection. Mais il lui manque la faculté humaine de trouver un équilibre entre processus, éthique, efficacité, transparence, rapidité, compréhension, impact sociétal, etc.
Un agent IA n’est pas capable d’équilibrer tous ces paramètres humains et réels pour atteindre un état « suffisant » ou d’équilibre. Il sera uniquement focalisé sur un objectif unique, maximisant l’accomplissement de sa tâche autant que possible.
L’expert mondialement reconnu en IA Professeur Yoshua Bengio, parmi d’autres, a souligné que les risques liés aux agents IA sont les plus préoccupants parmi tous les risques associés à l’IA générative, et que ces modèles pourraient optimiser vers un objectif inconnu et ininterprétable pour les humains (même si les objectifs sont fixés par des personnes). Cela pourrait avoir des conséquences catastrophiques.
Les régulateurs exigent des contrôles attestés
Avec ces risques en tête, les autorités réglementaires du monde entier posent les bases permettant aux dirigeants technologiques de mettre en place des contrôles efficaces (quoique prudemment) et informent les organisations de ce qui est, ou n’est pas, acceptable à ce stade à l’échelle de nos sociétés.
Aux États-Unis, les agences de crédit à la consommation et l’industrie hypothécaire ont cherché à appliquer la prise de décision automatisée aux processus d’octroi de crédit et d’analyse hypothécaire. Le Bureau de Protection Financière des Consommateurs (CFPB) a rapidement publié des lignes directrices en réaction, déclarant : « Il n’existe aucune exemption spéciale pour l’intelligence artificielle », s’inquiétant du fait que les ensembles de données utilisés pour la prise de décision ne soient pas toujours pertinents pour la situation financière d’un individu.
De l’autre côté de l’Atlantique, l’AI Act européen a défini une liste de pratiques interdites, qui entreront en vigueur en février 2025. Parmi celles-ci figure l’utilisation de l’IA pour le scoring social, c’est-à-dire l’utilisation de systèmes d’IA pour évaluer ou classer les individus selon leur comportement social ou des caractéristiques personnelles. À l’instar des préoccupations du CFPB, l’Union européenne cible la prise de décision illégale et biaisée (ou la catégorisation) des individus et a décidé d’interdire purement et simplement ce type de pratique dans les systèmes d’IA.
Établir les bases
Heureusement, cette première vague d’IA générative a forcé la société, les conseils d’administration et les équipes dirigeantes à se pencher sérieusement sur les problématiques épineuses des biais, des hallucinations et des conséquences matérielles liées aux avancées de nos modèles.
Les dirigeants ont donc dégagé deux principes essentiels pour traiter les risques et les opportunités des agents IA.
- Chaque organisation souhaitant déployer des agents IA doit disposer d'un processus indépendant et complet d'évaluation des risques pour chaque cas d'utilisation. Un processus formel d'évaluation des risques pour les cas d’utilisation permettra de déterminer comment le risque propre à l’organisation est géré et comment son agent IA est déployé. Pour établir ce processus, il est essentiel de s'assurer que votre organisation a constitué une équipe interfonctionnelle (cruciale pour garantir une couverture globale de tous les types de risques liés aux agents IA) qui se concentre avec précision sur l’évaluation approfondie des risques de l’agent IA, notamment :
- Identification et inventaire des facteurs de risque pertinents couvrant des types de risques tels que les risques opérationnels, réputationnels, juridiques, de conformité, d'éthique, technologiques et de sécurité de l'information
- Cartographie des attentes en matière de contrôle et de supervision avec les meilleures pratiques émergentes en gestion des risques IA, incluant celles de l’International Standard of Organization (ISO) et du National Institute of Standards and Technology (NIST), ainsi que de nouveaux contrôles industriels (automatisés et avec intervention humaine), et
- Identification des risques résiduels des cas d’utilisation des agents IA.
- Nous ne pouvons pas compter sur les fournisseurs de modèles pour fournir les outils de sécurité nécessaires. Les organisations doivent développer des garde-fous et des outils de conformité indépendamment des fournisseurs de modèles afin de maintenir un contrôle adéquat sur nos systèmes d’IA générative.
- La sécurité des modèles ne peut pas être laissée uniquement aux développeurs de modèles. Le modèle GPT-4o d’OpenAI montre des faiblesses (21 % moins performant) par rapport aux modèles internes pour ce qui est des tâches de garde-fous de sécurité et de conformité. Les fournisseurs de modèles peuvent avoir des définitions étroites de la sécurité ou des garde-fous inadaptés à la taille, à la complexité, à l’appétence au risque ou aux exigences éthiques de votre organisation.
- Qu’est-ce que cela signifie de confier le contrôle de la sécurité à quiconque d’autre que votre organisation ? Les organisations doivent réfléchir aux risques liés au fait d’être à la merci de problèmes involontaires (pannes de service, biais implicite) ou intentionnels (manque de transparence, modèles non alignés au fil du temps) apportés par le fournisseur du modèle.
Garde-fous modulaires pour les agents IA
Alors, comment les responsables technologiques doivent-ils réfléchir à la mise en place de garde-fous appliqués (c'est-à-dire de contrôles) pour atténuer les risques évoqués ci-dessus ?
Heureusement, c’est un domaine où les théories efficaces sont nombreuses ; il convient ainsi de s’inspirer des meilleurs universitaires et praticiens de l’IA, parmi lesquels le professeur Yoshua Bengio, mais aussi d’autres éminents universitaires comme le lauréat du prix Nobel, le professeur Geoffrey Hinton, le professeur Max Tegmark du Massachusetts Institute of Technology, et bien d’autres encore. Leur conseil ? Il tient en deux points…
- Découper l’IA agentique en tâches et flux de travail modulaires
- Mettre en place des garde-fous et des contrôles pour chaque étape distincte
Décomposer le flux de création d’un modèle IA agentique en tâches plus petites et modulaires permet de réduire naturellement les risques liés à la génération automatisée, facilite l’analyse des causes profondes et rend plus aisée l’intervention ou la supervision humaines.
Par exemple, plutôt que de demander à un agent IA d’« rédiger un rapport d’activité du T4 analysant les flux de trésorerie », concevez l’Agent IA pour réaliser la tâche étape par étape, notamment :
1) Construire le tableau croisé dynamique dans une feuille Excel pour organiser les flux de trésorerie par mois et par entité,
2) Effectuer une comparaison avec les trimestres précédents, et
3) Résumer les tendances générales dans un rapport !
Une fois ce cadre posé, des garde-fous doivent être installés à chaque étape. En considérant les systèmes agentiques comme des outils plutôt que des systèmes autonomes de bout en bout, vous pouvez éviter des conséquences catastrophiques, comme le fait que certains systèmes IA agentiques modifient frauduleusement des chiffres (ce que le dernier modèle d’OpenAI, o1, a été documenté comme ayant fait dans 19 % des cas).
Mettre en place un garde-fou à chaque étape du processus permet aux organisations de définir des niveaux de contrôle et de supervision efficaces, détaillés et stricts, concernant les types de données que les agents peuvent exploiter, la manière dont ils le font, et les conclusions qui peuvent en ressortir.
À partir de là, tout tourne autour des preuves (et de la surveillance) que vous mettrez en place. Les rapports de conformité continus, la formation, la conservation des archives, les journaux d’audit, les validations indépendantes, ainsi que les protocoles de rapport de gouvernance et d’escalade jouent tous un rôle pour offrir une visibilité sur le vaste écosystème de parties prenantes qu’un agent IA peut concerner.
Need expert help selecting the right tool?
Questions critiques à se poser
En fin de compte, tout responsable technique doit se poser et répondre à quelques questions fondamentales avant de s’engager sur la voie des agents IA dans son secteur :
- Sommes-nous à l'aise avec les dispositifs de contrôle dont nous disposons pour atténuer les risques inhérents identifiés à travers notre cas d'usage ?
- Si nous disposons du cadre de contrôle, sommes-nous à l'aise avec la gestion de la supervision de ces contrôles ?
- Si nous n'avons pas ces contrôles en place, devons-nous tout de même poursuivre ?
- Avons-nous un cadre permettant de surveiller en continu les nouveaux risques résultant des avancées en intelligence artificielle agentique ?
- Avons-nous évalué de manière indépendante nos modèles tiers ?
- Disposons-nous d'un référentiel nous permettant d'évaluer la performance par rapport aux valeurs et dispositifs de protection que nous attendons ?
- Pensons-nous que les dispositifs de sécurité sont alignés avec nos standards et restons-nous maîtres de la situation ?
- Quel rôle la supervision humaine jouera-t-elle lors de notre déploiement ?
- Notre organisation disposera-t-elle des bonnes personnes, des processus adaptés et de la technologie nécessaire pour jouer un rôle actif dans la supervision de nos agents IA ?
- Sommes-nous à l'aise avec le fait que les tâches de notre cas d'usage soient réalisées de manière autonome ?
Les réponses pourraient ne pas vous plaire, ou elles pourraient déboucher sur un appétit au risque que votre organisation n'est pas prête à accepter, mais comme on dit, la vérité ne change pas simplement parce que nous choisissons de ne pas la voir !
Abonnez-vous à la newsletter du CTO Club pour plus d’analyses sur l’IA.
