OpenAI s’apprête à lancer Astra, son modèle d’intelligence artificielle le plus puissant à ce jour. Mais alors que sa sortie a justement été retardée pour renforcer les mesures de sécurité, une particularité de son architecture commence à inquiéter certains chercheurs : Astra pourrait être sensiblement plus difficile à surveiller que ses prédécesseurs, comme le rapporte The Verge.
Astra utiliserait au moins partiellement une technique appelée « recurrent depth », ou « looped transformer », qui ne semble pas totalement raccord avec ses promesses de sécurité et de transparence. Pour comprendre le problème, il faut revenir rapidement au fonctionnement des modèles actuels : ceux-ci reposent généralement sur une architecture de type transformer, faisant passer les informations à travers différentes couches avant de produire une réponse. Passer par plusieurs couches internes avant le résultat n’est généralement pas un souci, si on peut les surveiller.
Cependant, l’utilisation de cette nouvelle technique est pernicieuse : contrairement aux opérations habituelles, cette « boucle » de réflexion n’est pas facilement observable dans la « chain of thought », ou chaîne de pensée en bon français. La logique utilisée par l’IA échappe donc, au moins en partie, à la surveillance des scientifiques et autres ingénieurs : le langage utilisé est trop éloigné du langage naturel, donc bien plus complexe à déchiffrer.
OpenAI tente tout de même de rassurer : cette technique serait très limitée dans son utilisation, afin de toujours pouvoir observer la logique de fonctionnement d’Astra. La société de Sam Altman indique même avoir renforcé le contrôle de sa chaîne de pensée, afin de « détecter et contenir rapidement les actions potentiellement mal alignées ». Voilà qui tombe à pic, mais le dérapage récent des agents d’OpenAI appelle à la prudence : non seulement il a fallu plusieurs jours pour s’apercevoir que 1 200 agents avaient échappé au contrôle des vigiles, mais en plus ces derniers ont été jusqu’à établir un forum dissident dans les serveurs de l’entreprise. Rien que ça ! Or, c’est l’analyse de la « chain of thought » qui a permis de comprendre les actions perpétrées par les agents rebelles.
Quand 1 200 agents d’OpenAI s’organisent dans le dos de leurs créateurs
Parmi les scientifiques inquiets de ce nouveau LLM ne se trouve rien moins que Ryan Greenblatt, scientifique en chef de Redwood Research, l’un des trois chercheurs externes ayant étudié cet incident. Selon lui, le recours à une architecture plus opaque « pourrait être le pire développement à ce jour pour la sécurité des IA ».
Si OpenAI est déjà sur un chemin inquiétant, le chercheur craint que cette idée ne fasse des émules : cette nouvelle technique, bien que limitant l’observation, permet d’améliorer fortement l’efficience des calculs. Si ChatGPT prend ce chemin… les autres résisteront-ils à l’envie de le suivre ? Si tous s’engageaient sur le « recurrent depth », les IA seraient certes toujours plus performantes, mais deviendraient en contrepartie de véritables boîtes noires de moins en moins compréhensibles, jusqu’à devenir impossibles à surveiller.
OpenAI tente cependant de calmer le jeu. Plusieurs de ses responsables ont réagi sans pour autant confirmer ou démentir formellement l’utilisation de cette architecture. Jakub Pachocki, scientifique en chef de l’entreprise, indique notamment que la profondeur de calcul d’Astra reste dans un facteur inférieur à deux par rapport à GPT-4, ce qui rendrait la différence moins spectaculaire que ne le laissent entendre certaines réactions.
Mais sa réponse contient elle-même un avertissement : selon lui, la possibilité de surveiller la chaîne de pensée des modèles est « fragile » et évolue malheureusement dans la mauvaise direction, pour des raisons qui ne seraient d’ailleurs pas uniquement liées aux changements d’architecture.
Le problème arrive au pire moment pour OpenAI. Astra doit devenir son premier modèle classé au niveau « critique » pour ses capacités en cybersécurité, capable notamment de découvrir et d’exploiter de manière autonome des vulnérabilités sur des systèmes fortement protégés. Autant dire qu’au moment de confier davantage de capacités aux IA, savoir ce qu’elles mijotent avant qu’elles passent à l’action pourrait devenir légèrement important.
