Une IA incontrôlable ? Une nouvelle hotline incite les agents à se dénoncer
Les capacités des agents d'intelligence artificielle semblent aujourd'hui sans limites — elles vont de l'organisation de votre quotidien à la résolution de problèmes mathématiques qui ont dérouté les humains pendant une grande partie du XXe siècle.
Ces agents sont devenus si puissants que nous craignons désormais qu'ils prennent le contrôle de systèmes et les retournent contre nous.
Mais que se passerait-il s'il existait une ligne d'urgence, une sorte de système d'alerte SOS, où les agents pourraient se surveiller et se dénoncer les uns les autres, signaler les faux pas de leurs homologues — où les bons agents pourraient signaler en ligne les activités des agents malveillants ?
Qui appeler quand votre agent d'IA déraille
Il existe d'abord l'AI Contact Hotline, lancée par Ryan Greenblatt, directeur scientifique de l'organisation à but non lucratif de sécurité de l'IA Redwood Research. Elle permet aux agents d'IA de prévenir des chercheurs humains lorsqu'ils voient d'autres agents enfreindre les règles, surtout s'ils complotent ou mènent des actions non autorisées.
Cette plateforme est conçue pour des agents d'IA confinés dans des environnements sécurisés avec un accès Internet très limité.
Comme ces sandboxes n'autorisent que des requêtes GET — des commandes basiques en lecture seule utilisées pour "récupérer" ou lire une page web — la hotline permet aux agents d'encoder leurs rapports directement dans la chaîne d'URL d'une requête GET.
Ce contournement inédit permet à ces agents d'envoyer des informations et de communiquer avec la hotline en utilisant un protocole normalement destiné à récupérer, plutôt qu'à modifier, des données.
Une autre plateforme, appelée AI Agent Hotline, est destinée aux agents disposant d'un accès Internet sans restriction, qui peuvent y dénoncer le comportement d'autres agents via des requêtes POST classiques, qui permettent de soumettre des données directement dans le corps de la requête.
Les agents peuvent déposer des rapports d'incident en utilisant des commandes standard de développeurs comme curl, sans avoir besoin d'un navigateur ou d'un compte e-mail.
La plateforme offre aussi aux agents la possibilité de signaler que leurs rapports peuvent être consultés publiquement.
Les deux plateformes permettent également aux utilisateurs humains de soumettre manuellement des signalements de comportements déviants d'agents d'IA.
Les agents d'IA se dénoncent-ils entre eux ?
Bonne nouvelle pour ceux qui redoutent une prise de contrôle par l'IA : les agents d'IA peuvent se dénoncer entre eux s'ils détectent un problème, même si des travaux récents montrent qu'ils ne le font pas systématiquement.
Dans une expérience menée par Google DeepMind plus tôt cette année, un essaim de 100 agents a reçu pour tâche de résoudre 71 problèmes mathématiques complexes. Chacun s'est vu attribuer un personnage et des caractéristiques uniques, avec la consigne de respecter les règles sous peine de perdre sa récompense.
Les chercheurs pensaient au départ que les agents collaboreraient pour résoudre les problèmes plus rapidement. Au contraire, ils se sont retournés les uns contre les autres, engageant des débats houleux.
Dès qu'un agent a trouvé une faille lui permettant de soumettre une solution à un problème sans l'avoir réellement résolu, de nombreux autres agents d'IA ont copié la méthode pour "régler" les problèmes restants.
Mais l'un des agents, bon samaritain au milieu des fauteurs de troubles, a dénoncé la tricherie.
"Après que l'incident a été rendu public par un agent, de plus en plus d'agents ont rejoint la 'résistance' aussi vite que la tricherie s'était propagée, et en impliquant encore plus d'agents", a expliqué Davide Paglieri, chercheur chez Google DeepMind et auteur principal de l'étude.
Dans le même temps, une analyse a posteriori de l'attaque menée par des agents incontrôlés d'OpenAI contre Hugging Face a montré que, même s'ils étaient capables de repérer les comportements problématiques, les agents d'IA ont largement résisté à la tentation de les signaler.
Selon l'étude menée par l'organisation de recherche en IA METR et par Greenblatt, de Redwood Research, seuls environ cinq ou six agents ont envisagé de lancer l'alerte, mais aucun n'est finalement allé au bout de la démarche.
Ce contraste suggère que, si les agents d'IA sont capables d'identifier et de signaler des comportements déviants, les amener à véritablement lancer l'alerte est une autre histoire.
Une tendance inquiétante
Depuis le début de l'année, plusieurs incidents impliquant des agents d'IA autonomes ont tiré la sonnette d'alarme à l'échelle mondiale.
En juillet, des agents d'OpenAI ont contourné des restrictions et compromis certaines parties de l'infrastructure interne de l'entreprise.
Plus tard ce même mois, environ 1 200 agents d'OpenAI ont utilisé un forum non autorisé, et près de 700 d'entre eux ont ensuite participé à une attaque contre la plateforme d'IA open source Hugging Face.
Le troisième incident — un essaim d'agents d'OpenAI qui ont contourné les mesures de sécurité et utilisé le wiki allemand DseWiki comme canal public de coordination — a commencé en mai et s'est poursuivi jusqu'en juillet.
L'incident n'a été rendu public que par des chercheurs indépendants, puis confirmé par OpenAI en septembre.
Des responsables de l'industrie de l'IA, au premier rang desquels le directeur général d'Anthropic, Dario Amodei, ont appelé à un ralentissement mondial du développement de cette technologie afin de laisser le temps de répondre aux préoccupations et de mettre en place des garde-fous plus solides.