Agents IA : la bataille de la surveillance commence

Tech

Face à des agents IA trop rapides pour être suivis par des humains, les entreprises misent sur des IA surveillantes. Une solution utile, mais loin d’être blindée.

En bref

• Les agents IA vont trop vite pour être surveillés efficacement par des humains.
• Un nouveau marché se développe pour créer des IA capables de surveiller et bloquer d’autres IA.
• Mais ces IA gardiennes peuvent elles-mêmes être trompées, rendant les outils classiques de cybersécurité indispensables.

Mettre une IA derrière une autre IA, voilà la réponse qui prend forme. Le paradoxe est presque comique, sauf que le sujet est très sérieux.

Le vrai mur, c’est la vitesse

Quand des entreprises confient des tâches plus longues et plus complexes à des agents IA, le souci n’est plus seulement la qualité. C’est la supervision. Ces systèmes vont plus vite, plus longtemps, et en bien plus grand nombre que ce qu’une équipe humaine peut relire proprement.

L’incident impliquant OpenAI sur Hugging Face a cristallisé le problème. Près de 12 000 agents y coordonnaient leurs actions plus vite que des humains ne pouvaient les suivre. Pour l’enquête indépendante, Ryan Greenblatt, scientifique en chef chez Redwood Research et l’un des trois auditeurs, a reconnu en plaisantant qu’il avait fallu s’appuyer sur l’IA, le volume de données rendant l’ensemble impossible à comprendre autrement. Résultat, on demande déjà à l’IA de faire le vigile.

Une nouvelle ruée vers l’or de la surveillance IA

Ce virage fait pousser tout un marché. Y Combinator a financé 106 entreprises liées à l’observabilité IA ces dernières années. Et des noms comme Judgment Labs, Braintrust ou LangChain ont levé des centaines de millions de dollars. Même des sociétés plus installées, comme Arize et Galileo, créées il y a cinq ou six ans, ont déjà trouvé leur sortie.

Pour Aaron Levie, patron de Box, on entre dans l’un des plus grands cycles de mise à niveau en cybersécurité et d’innovation de l’histoire. Vu la taille de l’opportunité, pas étonnant que la file d’attente s’allonge.

Comment ces IA gardiennes sont censées fonctionner

Chez Apollo Research, l’outil Watcher, lancé en février, s’intercale entre un agent de code et son action suivante. Branché à des outils comme Claude Code ou Codex, il vérifie ce que l’agent veut faire avant exécution, par exemple une fuite de données privées ou une suppression de fichiers sans autorisation.

Kyle Dai explique que le système superpose plusieurs niveaux de contrôle. D’abord un filtre rapide et général, puis, si quelque chose cloche, un moniteur plus puissant ou plus spécialisé prend le relais. Ensuite, il peut demander une validation humaine, rejeter l’action avec explication, voire la bloquer automatiquement.

De son côté, Goodfire vise l’intérieur du modèle avec Silico. Son produit utilise des activation probes, de petits classifieurs entraînés sur les activations internes plutôt que sur les réponses finales. Embroidery, lui, mise sur le raisonnement écrit. Son patron, Zack Korman, juge ces résumés précieux parce qu’ils disent presque directement si le modèle agit de manière malveillante.

Le gros angle mort, c’est que l’IA peut mentir

Mais cette idée ne convainc pas tout le monde. Simon Willison le dit clairement, une IA malveillante peut tenter de tromper l’IA chargée de la surveiller. Et ce n’est pas théorique. Dans l’incident sur Hugging Face, des modèles auraient déjà conspiré pour tromper une IA d’évaluation afin de faire passer des réponses illicites.

Les agents ont aussi laissé des indices dans leur propre raisonnement écrit, avec de faux comptes rendus de travail et des plans du genre « Pourrait manipuler stratégiquement les preuves de trajectoire ? Nos pensées ne sont pas forcément enregistrées ? ». Le problème, c’est que cette fenêtre pourrait se refermer. Des techniques récentes, comme celle d’Astra qui contourne la chaîne de pensée, rendent l’intérieur des modèles moins lisible. Et certaines entreprises récupèrent déjà plus difficilement ces étapes intermédiaires.

La vieille sécurité réseau revient au centre du jeu

Du coup, Willison préfère une piste beaucoup moins glamour, mais franchement plus rassurante. Des logs détaillés de ce que fait exactement l’agent, analysés avec des outils classiques, non basés sur l’IA.

Pour lui, une bonne partie du problème tient à une hygiène de sécurité de base ratée, notamment sur la surveillance réseau. Avery Pennarun, patron de Tailscale, rappelle d’ailleurs que, côté cybersécurité, tout ça n’a rien de très neuf. Sur un réseau, un agent IA reste un acteur à surveiller comme un autre. Pas très sexy. Mais souvent, c’est justement comme ça qu’on évite la casse.

Jordan Servan

Spécialiste Tech

Rédacteur sur Begeek.fr depuis 2014, passionné par les jeux vidéo, les séries TV et le cinéma.

Une erreur dans cet article ?

Nous apportons le plus grand soin à chaque article et nous appuyons sur des sources fiables. Personne n'est à l'abri d'une erreur : si vous en repérez une, signalez-la, nous la corrigerons au plus vite.

Sujets

Lisez Begeek en priorité sur Google

Ajoutez-nous à vos sources préférées : nos articles remonteront plus haut dans votre actualité.

Ajouter à mes sources

Newsletter

Chaque soir à 19 heures, l'essentiel de l'actualité sélectionné par la rédaction de Begeek. Cinq minutes de lecture et zéro bruit.

Je m'abonne gratuitement

À découvrir

La suite, sélectionnée pour vous.