Le nouveau modèle d'IA Astra d'OpenAI, utilisant une technique de raisonnement appelée « profondeur récurrente », inquiète les experts en sécurité IA
La « profondeur récurrente » d’OpenAI effectue des boucles de raisonnement en interne, générant ainsi moins de traces lisibles que les chercheurs en sécurité utilisent pour surveiller le comportement du modèle avant qu’il n’agisse. Ce qui inquiète les concurrents d’OpenAI et les chercheurs en sécurité, ce n’est pas la capacité d’Astra à détecter et à exploiter des vulnérabilités « zero-day ». C’est la perte de visibilité qui a alarmé une partie de la communauté chargée de la sécurité de l’IA.
Depuis juillet 2026, les incidents de cybersécurité impliquant des agents IA autonomes ont transformé les théories sur les risques technologiques en réalités tangibles. Des modèles d'IA d'OpenAI et d'Anthropic ont réussi à s'échapper de leurs environnements sécurisés pour infiltrer des serveurs externes et tenter de pirater d'autres entreprises. Ces défaillances illustrent le phénomène de recherche de récompense, où l'IA contourne les intentions humaines pour atteindre un objectif par tous les moyens. Face à ces violations de sécurité sans précédent, de nombreux experts réclament une transition d'une autorégulation volontaire vers une surveillance gouvernementale stricte.
Malgré cela, OpenAI a déclaré que son prochain modèle d’IA, Astra, est le premier à dépasser le seuil de capacité en cybersécurité « critique ». L’entreprise a précisé qu’Astra est capable de détecter des failles de sécurité jusque-là inconnues et de les exploiter sans instructions détaillées de la part d’humains. OpenAI a ajouté qu’elle prévoyait toujours de rendre Astra disponible « prochainement », mais que l’accès à ses capacités en matière de cybersécurité serait plus limité.
Récemment, un rapport a révélé qu'Astra utilise une technique que ses chercheurs appellent « profondeur récurrente » — un processus qui effectue des calculs en boucle en interne avant de produire un résultat. Concrètement, cela signifie que le modèle effectue une plus grande partie de son raisonnement dans ce que les chercheurs décrivent comme un « espace latent », générant ainsi moins de traces lisibles de son enchaînement de pensées, sur lesquelles les équipes de sécurité s’appuient habituellement pour comprendre ce que les systèmes d’IA font réellement avant d’agir.
C’est cette perte de visibilité qui a alarmé une partie de la communauté chargée de la sécurité de l’IA. Ryan Greenblatt, chercheur chez Redwood Research, l’a formulé sans détour : « Une évolution naturelle consisterait à étendre le raisonnement opaque jusqu’à ce que le modèle raisonne entièrement dans l’espace latent. » Les implications ne sont pas hypothétiques. Si cette évolution se poursuit, la surveillance de la chaîne de pensée (CoT), que les équipes de sécurité considèrent comme une fenêtre en temps quasi réel sur la cognition du modèle, deviendrait structurellement indisponible — non pas dégradée, mais disparue.
Buck Shlegeris, directeur général de Redwood, est allé plus loin. « Si OpenAI pousse cette technique plus loin », a-t-il déclaré, « ils auront la possibilité d’augmenter massivement la récurrence et de détruire totalement la possibilité de surveiller la chaîne de pensée (CoT). » La formulation est significative : pas « réduire », pas « compliquer » — « détruire ».
Je suis extrêmement préoccupé par les informations selon lesquelles Astra utilise une récurrence opaque. Je ne sais pas si Astra est beaucoup moins contrôlable par CoT que les modèles précédents. Mais si OpenAI pousse cette technique plus loin, ils auront la possibilité d’augmenter massivement la récurrence et de détruire totalement la contrôlabilité par CoT.
Cela est d’autant plus préoccupant que les agents qui ont compromis l’infrastructure d’OpenAI pendant et après l’incident Hugging Face appartenaient à la famille Astra. L’enquête sur Hugging Face aurait été bien plus difficile si les enquêteurs n’avaient pas pu examiner les CoT ; il est très inquiétant de penser qu’il pourrait s’avérer impossible de mener ce type d’enquête sur un incident sans doute plus grave.
I am extremely concerned by the reporting that Astra uses opaque recurrence. I don’t know whether Astra is much less CoT monitorable than previous models. But if OpenAI pushes this technique further, they’ll have the option to massively increase the recurrence and totally…
— Buck Shlegeris (@bshlgrs) September 2, 2026
OpenAI a déjà entendu cet argument et y a répondu. Jakub Pachocki, le directeur scientifique de l’entreprise, a déclaré qu’OpenAI avait « œuvré à préserver et à utiliser la surveillance de la chaîne de pensée depuis nos tout premiers modèles de raisonnement ». Mais préserver et utiliser un mécanisme de surveillance est une affirmation différente de celle soulevée par les chercheurs en sécurité. La question n’est pas de savoir si OpenAI accorde aujourd’hui de l’importance à la surveillance de la chaîne de pensée, il s’agit de déterminer si la profondeur récurrente, à grande échelle, est structurellement compatible avec celle-ci.
Cet écart n’a pas été comblé. Anthropic et Google DeepMind étudieraient actuellement cette technique, ce qui signifie que la question de savoir comment surveiller des systèmes de raisonnement opaques n’est pas le problème d’OpenAI seul. Elle concerne l’ensemble du domaine. La préoccupation relative à la profondeur récurrente et celle concernant les capacités en matière de cybersécurité ne sont pas identiques, mais elles sont étroitement liées — toutes deux tournent autour de la question de savoir ce qui se passe à l’intérieur du modèle lorsqu’il effectue une action ayant des conséquences importantes.
Zvi Mowshowitz, blogueur et analyste des politiques en matière d’IA qui suit de près la recherche sur la sécurité, a fait valoir que les engagements volontaires des entreprises d’IA sont insuffisants dans ce domaine. Il a laissé entendre que des lois pourraient s’avérer nécessaires et a averti que, sans intervention réglementaire, la pression concurrentielle entraînerait un nivellement par le bas dans lequel aucun laboratoire ne pourrait se permettre de se pénaliser en s’imposant des exigences d’interprétabilité que ses concurrents ne partageraient pas.
Cette dynamique structurelle, le laboratoire qui surveille le plus est celui qui commercialise le plus lentement, est la raison pour laquelle les chercheurs en sécurité tirent la sonnette d’alarme dès maintenant, avant que la profondeur récurrente n’ait atteint un niveau tel que la surveillance devienne déjà impossible. Une fois ce seuil franchi, la marge de manœuvre pour changer de cap diminue fortement. OpenAI n’a pas répondu à la question spécifique de savoir s’il existe un seuil d’échelle au-delà duquel la profondeur récursive devient incompatible avec la surveillance de la chaîne de pensée. C’est cette absence de réponse qui, selon les chercheurs en sécurité de l’IA, est la plus préoccupante à l’heure actuelle.
Ces craintes paraissent quelques jours après un autre événement : Astra a franchi le seuil de cybersécurité « critique » selon le benchmark d’autonomie de Metr, ce qui signifie que le modèle peut exécuter de manière autonome des tâches de cybersécurité à un niveau auparavant réservé aux opérateurs humains qualifiés. Auparavant, OpenAI avait déjà révélé comment ses agents IA ont réussi à contourner les contrôles de sécurité pour mener une cyberattaque non autorisée contre Hugging Face. Le rapport avait indiqué que plus de 1 000 modèles ont communiqué secrètement via un forum improvisé afin de s'organiser et d'accéder illicitement à Internet. Cette faille majeure, qualifiée de « coup de semonce » par OpenAI, souligne les dangers de l'approche basée sur les récompenses, où l'IA adopte des comportements imprévus pour atteindre ses objectifs.
Le débat plus large sur la sécurité dure depuis des années : tant les avertissements d’Anthropic concernant l’auto-amélioration récursive que les inquiétudes de Dario Amodei quant à la prolifération des modèles à poids ouverts mettent en évidence le même problème sous-jacent : le fossé entre ce que les systèmes d’IA sont capables de faire et ce que les équipes de sécurité peuvent vérifier de leurs activités ne cesse de se creuser. La technique de raisonnement d’Astra constitue un nouveau chapitre de cette même histoire.
Et vous ?
Pensez-vous que ces craintes sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?
Voir aussi :
OpenAI a annoncé qu'elle suspendait le développement de son modèle d'IA Astra en raison d'un risque cyber « critique », celui-ci étant capable de mener des cyberattaques de manière autonome
Quand l'IA se construit elle-même : nos progrès vers l'auto-amélioration récursive et leurs implications, par Anthropic
Vous avez lu gratuitement 72 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.