Le directeur technique avertit les ingénieurs : ne supposez pas que l’IA est sécurisée

Pedro Thomaz est le fondateur et directeur technique d'Amplified Creations, ainsi que des produits de son portefeuille.

Nous nous sommes entretenus avec lui pour discuter des opportunités offertes par l'IA, ainsi que de ses menaces critiques pour la sécurité. Voici ce qu'il nous a confié.

Quand l'IA a « fait tilt »

Je suis Pedro, directeur technique, créateur et développeur en voie de guérison du « on livre, un point c'est tout ».

J'ai commencé dans la technologie comme la plupart des gens : en écrivant du code, en livrant des projets et en satisfaisant les clients. Pendant des années, j'ai dirigé Amplified Creations, un studio créatif et technologique que j'ai cofondé en 2007, en développant des logiciels personnalisés, des visites virtuelles et des expériences numériques pour des entreprises au Portugal et au-delà. Du bon travail. Du travail solide. Mais principalement dans un mode d'exécution.

Puis l'IA est arrivée. Pas la vague médiatique, mais la partie réellement utile. Le déclic s'est produit pour moi à la fin de 2023, alors que je travaillais sur RVer, un système de santé en réalité virtuelle que nous développons en interne.

Nous créions des environnements immersifs pour réduire l'anxiété des patients dans les contextes cliniques : hôpitaux, maisons de retraite, etc. Lorsque nous avons intégré l'IA au système, quelque chose a changé. Les médecins, les cliniciens et les thérapeutes — les personnes qui évoluent dans un environnement véritablement complexe et à forts enjeux — sont devenus nettement plus efficaces.

C'est à ce moment-là que j'ai cessé de considérer l'IA comme une fonctionnalité et que j'ai commencé à la concevoir comme le fondement.

Aujourd'hui, au sein d'Amplified Creations, je travaille avec des entreprises de tous secteurs pour les aider à appliquer l'IA là où elle fait réellement la différence : opérations, contenu, automatisation et livraison.

La nécessité de limites techniques et opérationnelles

Amplified Creations est un mélange unique de studio créatif, d'entreprise technologique et de cabinet de conseil en IA.

Nous sommes une équipe réduite, mais expérimentée. Selon l'étape d'un projet, nous coordonnons plus de 25 personnes, un mélange de collaborateurs internes et de sous-traitants spécialisés. Notre organisation privilégie la flexibilité plutôt que les effectifs.

Notre portefeuille de produits est varié. D'un côté, RVer — notre plateforme interne de santé en réalité virtuelle — fonctionne sur une infrastructure privée et isolée. Les données de santé ne vont pas dans le cloud. Un point c'est tout. De l'autre, nos projets d'automatisation par l'IA pour nos clients — des PME portugaises du commerce de détail, de l'industrie et des services — sont généralement natifs du cloud, se déploient rapidement et s'intègrent à leurs systèmes existants.

Sur le plan architectural, nous sommes pragmatiques. Nous n'avons pas de religion en matière de pile technologique. Nous choisissons ce qui convient au modèle de sécurité, au niveau de maturité du client et au calendrier de livraison. Cela signifie généralement utiliser le cloud, mais lorsque le domaine l'exige, nous concevons plutôt des déploiements privés, sécurisés et sur site.

Le changement de contexte entre tous ces domaines crée de la complexité. Diriger une équipe qui livre un système de santé en réalité virtuelle fortement réglementé et une automatisation de vente au détail par l'IA au cours du même sprint exige des limites très claires — sur les plans technique et opérationnel.

Pedro partage

Diriger une équipe qui livre un système de santé en réalité virtuelle fortement réglementé et une automatisation de vente au détail par l’IA au cours du même sprint exige des limites très claires — sur les plans technique et opérationnel.

Comment l'IA transforme la conception et la gouvernance des produits par les directeurs techniques

L'IA touche à tout, mais le dernier mot revient toujours à l'humain. En particulier dans le domaine de la santé.

Elle influence la manière dont nous construisons, ce que nous déployons et la façon dont nous gouvernons.

L'IA intervient à chaque niveau : décisions architecturales, revue de code, tests, priorisation du carnet de tâches, réponse aux incidents et audit de sécurité. Nous exécutons également des agents dédiés au développement, à la revue de code, au déploiement et aux boucles de retour des clients.

Par exemple, lorsqu'un client signale un problème d'ergonomie, celui-ci est directement transmis à un agent qui nous aide à identifier la correction et à la mettre en œuvre plus rapidement. Le produit devient plus complexe, mais paradoxalement, l'équipe avance plus vite, car les agents absorbent la charge supplémentaire.

Mais l'IA fonctionne comme une machine très performante à produire des brouillons, et non comme un décideur. Un humain vérifie, approuve ou modifie, puis donne son accord final. À chaque fois.

Dans le cas de RVer, il ne s'agit pas seulement d'une philosophie. C'est une réalité réglementaire. Infarmed — l'autorité portugaise chargée des produits de santé — nous impose une norme selon laquelle une virgule mal placée dans la documentation peut nous coûter notre licence. Une information erronée issue d'un extrait de code et une réponse tardive à un incident ont toutes deux des conséquences dont aucun agent d'IA ne peut être tenu responsable. Nous maintenons donc des humains dans la boucle, non seulement pour garantir la qualité, mais aussi pour assurer la responsabilité. Quelqu'un est toujours responsable du résultat.

Cela dit, la limite n'est pas toujours nette.

Comment fonctionne un flux de développement propulsé par l'IA

Voici comment fonctionne notre flux de développement propulsé par l'IA.

Tout commence par une idée. Parfois, elle vient de l'équipe, parfois des retours des clients et, de plus en plus, de suggestions d'amélioration formulées par l'IA à partir de tendances identifiées. Chaque idée est d'abord soumise à notre équipe médicale. Si elle n'a pas de sens clinique sur le papier, elle s'arrête là. Nous n'écrivons aucun code.

Si elle passe ce filtre, nous réalisons rapidement un prototype. L'IA peut produire un MVP fonctionnel en quelques sessions seulement, nous ne nous attardons donc pas longtemps à débattre des idées. Les prototypes deviennent le support de la discussion.

Nous les construisons, les testons en interne avec le personnel médical et technique, puis laissons les résultats décider. Si le prototype est prometteur, nous passons à la production.

La production signifie que l'équipe et l'IA codent ensemble — nous intégrons la journalisation des erreurs dès le premier jour, en alimentant notre back-office en temps réel. Lorsqu'une nouvelle fonctionnalité est déployée, nous la surveillons en direct. L'équipe l'examine, l'approuve et ne déploie rien tant que tout n'est pas irréprochable.

Pourquoi Claude Code est essentiel au développement de l'IA

Claude Code est l'outil le plus important de notre environnement de développement.

Ce n'est pas seulement un assistant de programmation ; c'est ce qui se rapproche le plus d'un développeur senior disponible 24 heures sur 24, 7 jours sur 7. Il écrit, examine, suggère, détecte les erreurs et s'intègre à tout grâce à son écosystème de modules d'extension.

La plupart des outils de programmation par IA font bien une seule chose. Claude Code couvre toute la boucle, de « voici une idée de nouvelle fonctionnalité » à « voici le code, voici les problèmes potentiels et voici les points auxquels je ferais attention en production ». Ce n'est pas un outil. C'est un flux de travail.

Si je devais tout reconstruire à partir de zéro avec un seul outil à mes côtés, ce serait celui-là.

Comment l'IA crée des risques de sécurité

L'IA accélère tout, y compris les personnes qui cherchent à s'introduire dans vos systèmes.

Nous l'avons appris récemment lorsqu'une infrastructure de serveurs tierce d'un client a été compromise. Nous ne gérions pas sa sécurité, mais ses clés API se trouvaient dans un système d'IA que nous avions conçu. Les clés ont fuité. Nous l'avons aidé à renouveler immédiatement ses identifiants, avons conseillé son équipe serveur sur les éléments à renforcer, puis avons reconstruit de zéro la couche de sécurité de notre propre système. Même si son infrastructure est à nouveau touchée, les clés présentes dans notre système sont désormais beaucoup plus difficiles à atteindre.

Cela m'a appris à ne pas m'appuyer sur une sécurité que nous ne contrôlons pas. Il faut posséder chaque couche que l'on peut maîtriser, quelle que soit la personne qui gère les éléments en aval.

L'IA a accéléré le rythme du développement jusqu'à 11. Elle a aussi accéléré le rythme des attaques jusqu'à 11. C'est la même course qu'avant, simplement beaucoup plus rapide.

Pourquoi les responsables techniques doivent comprendre que la sécurité n'est pas le comportement par défaut de l'IA

L'exemple ci-dessus aurait peut-être évolué différemment s'il s'était agi d'un système conçu exclusivement par des humains. Peut-être. Nous ne le saurons jamais. Mais je vois cela constamment dans les projets développés au feeling avec l'IA. Et cela renforce un point important : l'IA accélère la production et, si les humains qui la supervisent ne sont pas rigoureux, les failles deviennent plus nombreuses, et non moins.

Autrement dit, l'IA n'a pas causé ces problèmes. C'est l'absence d'un véritable ingénieur derrière l'IA qui les a causés.

Car à l'heure actuelle, chaque CTO doit savoir que la sécurité n'est pas le comportement par défaut de l'IA.

Lorsque l'IA refuse de vous aider à pirater le site web d'un gouvernement, il s'agit d'une décision fondée sur des valeurs, intégrée au modèle. Elle ne le fera pas. Un point c'est tout. Mais ce même modèle générera volontiers du code qui expose des clés API, désactive l'A2F sur un formulaire de connexion ou déploie un fichier .env dans un dépôt public parce que personne ne lui a dit de ne pas le faire.

Honnêtement, cette asymétrie me dérange. Si l'IA dispose de l'architecture nécessaire pour imposer des garde-fous éthiques, elle dispose aussi de l'architecture nécessaire pour imposer une hygiène de sécurité élémentaire. Nous ne devrions pas demander à un développeur débutant qui demande à une IA de créer sa première application de déjà savoir ce qu'il ignore en matière de sécurité. Le modèle devrait gérer automatiquement le socle minimal : ne jamais valider de secrets, toujours mettre en œuvre l'A2F pour l'authentification, ne jamais exposer de configuration sensible dans le résultat compilé, etc.

La même logique qui empêche l'IA de nuire à l'extérieur devrait l'empêcher de créer des dommages à l'intérieur. Nous n'en sommes pas encore là. Et tant que ce ne sera pas le cas, un développeur débutant équipé d'un assistant IA restera un développeur débutant, qui livre simplement plus vite et commet plus rapidement des erreurs coûteuses !

Comment l’IA modifie les délais de développement

Les résultats de l’IA ont été considérables. Mais les enseignements le sont également.

Du côté positif, les chiffres parlent d’eux-mêmes. Dans le cadre de projets clients, nous avons réduit jusqu’à 85 % du temps consacré aux tâches administratives dans certains cas, et certaines tâches sont désormais entièrement automatisées, ce qui rend la question « combien de temps avons-nous gagné ? » presque philosophique. Des cycles de développement qui auraient pris six mois sont désormais livrés en trois à quatre mois.

En interne, notre production de développement est environ cinq fois supérieure à ce qu’elle était avant l’IA — mesurée en lignes de code par session, en validations git par jour et en fonctionnalités livrées par sprint. Le rythme est véritablement difficile à expliquer à quelqu’un qui ne l’a pas vu de ses propres yeux.

Et personne n’a été licencié. Nous ne sommes pas assez grands pour parler de suppressions de postes, mais surtout, cela n’a jamais été l’objectif. Ce qui a changé, c’est ce que font les gens. L’équipe qui consacrait auparavant la majeure partie de son temps à écrire du code le consacre désormais à examiner, décider et améliorer. C’est une meilleure utilisation des collaborateurs expérimentés.

Comment l’IA réoriente le recrutement vers l’expertise confirmée

Avant, la question du recrutement était : « Quels langages connaissez-vous ? » Elle est désormais presque sans importance. L’IA s’occupe de la syntaxe. Aujourd’hui, ce que nous recherchons lors d’un recrutement, c’est le discernement.

Saurez-vous repérer une faille de sécurité dans du code généré par l’IA ? Que faites-vous si votre système d’IA expose accidentellement un fichier .env ? Comprenez-vous pourquoi c’est important ? Comment examinez-vous une production que vous n’avez pas écrite ligne par ligne ?

En pratique, nous ne recrutons plus de développeurs juniors. Non pas parce que nous n’accordons aucune valeur aux personnes en début de carrière, mais parce que l’IA a absorbé la charge de travail des juniors. L’IA écrit le code. Ce dont nous avons besoin, c’est de quelqu’un d’assez expérimenté pour savoir quand il est erroné.

Nous évaluons désormais chaque développeur que nous recrutons comme un profil expérimenté. Sensibilisation à la sécurité, esprit critique, jugement professionnel. Le niveau d’exigence a augmenté parce que l’IA a relevé le niveau de base.

Comment l’IA élimine l’avantage concurrentiel de la complexité

Les dirigeants sous-estiment la vitesse à laquelle l’IA permet à d’autres de reproduire ce qui a pris des années à construire.

Prenons les CRM SaaS comme étude de cas. Pendant des années, l’avantage concurrentiel reposait sur la complexité. Le temps, le coût et l’expertise nécessaires pour construire quelque chose de comparable faisaient que la plupart des entreprises payaient simplement l’abonnement et passaient à autre chose. Ce calcul a changé. J’ai aidé des entreprises à créer leur propre CRM à partir de zéro, parfaitement adapté à leurs besoins, pour une fraction du coût à long terme. Aucun superflu. Aucune fonctionnalité qu’elles n’utiliseront jamais. Aucune facture mensuelle qui augmente chaque année.

Les entreprises SaaS qui ont bâti leur activité sur l’idée que « cela prendrait des années à reproduire » découvrent que ce n’est plus vrai. Les cours des actions en témoignent.

C’est le risque que les CTO sous-estiment constamment. Il ne s’agit pas du fait que l’IA perturbera leur secteur depuis l’extérieur, mais qu’elle donne discrètement à leurs concurrents, à leurs clients et même à leurs propres utilisateurs les outils nécessaires pour les contourner.

Si votre capacité de défense repose sur la complexité et le temps nécessaire à la construction, l’IA vient de supprimer votre avantage concurrentiel. La question est de savoir si vous l’avez remarqué avant quelqu’un d’autre.

Pourquoi l’apocalypse de l’emploi liée à l’IA est absurde

Pedro partage

L’IA est un outil, pas un travailleur. Même lorsqu’elle se comporte comme tel par l’intermédiaire d’agents, de l’automatisation ou de pipelines autonomes, quelqu’un est responsable de ce qu’elle fait.

Voici quatre conseils. Et je les pense tous sincèrement.

Premièrement : l'IA est un outil, pas un travailleur. Même lorsqu'elle se comporte comme tel par l'intermédiaire d'agents, de l'automatisation ou de flux de travail autonomes, quelqu'un est responsable de ce qu'elle fait. Un être humain doit être intégré au processus. Pas seulement pour des raisons de responsabilité juridique, mais parce que le résultat est réellement meilleur lorsqu'une personne réfléchie la dirige. Ne l'oubliez jamais.

Deuxièmement : les humains ont créé l'IA, qui comporte donc des bogues de niveau humain. Elle hallucine. Elle néglige certains aspects de la sécurité. Elle commet des erreurs avec assurance. Considérez-la comme un membre d'équipe brillant mais junior : ses résultats sont exceptionnels, mais elle a besoin d'être supervisée. Dès que vous cessez de vérifier son travail, c'est le moment où elle déploie discrètement quelque chose que vous regretterez — ou supprime l'intégralité de votre base de données !

Troisièmement : lorsqu'elle est correctement configurée, l'IA est un véritable monstre, dans le meilleur sens du terme. Avec les bons paramètres, le bon contexte et les bons garde-fous, elle peut gérer votre calendrier, répondre aux appels, automatiser vos tâches administratives, restaurer les photos de votre famille, alimenter votre flux de prospection, et bien plus encore. Si un processus implique un ordinateur, l'IA peut soit l'exécuter, soit réduire considérablement le temps nécessaire. Il est réellement difficile d'en percevoir les limites depuis notre position actuelle.

Quatrièmement : l'apocalypse de l'emploi provoquée par l'IA est une absurdité propagée par des gens qui n'ont jamais étudié l'histoire. Nous avons déjà vécu cela. La révolution industrielle. La chaîne de montage. La robotique industrielle. À chaque fois, les prévisions annonçaient un chômage massif. À chaque fois, les humains ont cessé d'effectuer le travail ennuyeux, répétitif et abrutissant, pour se consacrer à des tâches plus créatives et à plus forte valeur ajoutée. L'IA fera la même chose, simplement plus rapidement.

Oui, certains postes disparaîtront. Je l'ai déjà constaté. Des fonctions qui nécessitaient autrefois une interprétation spécialisée des données sont désormais mieux et plus rapidement prises en charge par un modèle. Mais ces personnes ne sont pas devenues inutiles. Elles sont libérées.

Voyez les choses ainsi : combien d'enfants de 10 ans pourraient aujourd'hui créer une application depuis leur chambre ? Posez maintenant la même question dans un monde sans IA. L'enfant n'a pas changé. Ses idées non plus. L'IA a simplement supprimé l'obstacle entre l'imagination et la création. Ce n'est pas une menace, c'est la meilleure évolution possible.

Nous devons simplement changer notre façon de penser. L'adopter, l'explorer, créer avec elle et apprendre à vivre avec elle. Les machines effectuent le travail lourd. Nous les commandons.

Suivez l'actualité

Vous pouvez en apprendre davantage sur le travail de Pedro sur LinkedIn. Découvrez également Amplified Creations.

D'autres entretiens avec des experts seront bientôt disponibles sur The CTO Club !