Alors que l’idée d’une IA qui s’échappe de son carcan pour aller effectuer des opérations offensives sur des serveurs distants est déjà inquiétante, les rapports s’accumulent sur les récents incidents impliquant des modèles d’Anthropic et OpenAI. Et concernant ce dernier, le dossier remis par METR et Redwood Research apporte des précisions pour le moins surprenantes, comme le rapporte The Verge.
La plupart du temps, l’idée que l’on se fait d’une intelligence artificielle attaquant un serveur est relativement simple : un programme très puissant, capable de vérifier des hypothèses à une vitesse phénoménale, et trouvant les failles avec une rapidité sans commune mesure avec les capacités humaines. Ça, c’est presque la représentation canonique pour la majeure partie des personnes interrogées. De l’autre côté, un groupe de pirates qui voudrait faire la même chose devra non seulement fonctionner en groupe, mais aussi discuter : chacun a des compétences particulières, et les trouvailles des uns doivent être partagées avec les autres, afin d’atteindre au plus vite le but commun… tout en faisant attention de ne pas être repérés par les forces de l’ordre.
Comment une IA d’OpenAI a échappé à toute surveillance pendant une semaine
Le souci, c’est que la représentation de l’IA est finalement déjà dépassée, avec sa nouvelle évolution : les agents. Le principe est simple : la multiplication d’agents autonomes capables de mener à bien une partie plus ou moins grande de la mission assignée à l’IA, afin de répartir les tâches de manière équilibrée et plus efficace. Jusque-là, rien de fou, on pourrait tout simplement penser à du calcul massivement parallèle, mais cette fois avec un agent plutôt évolué dans chaque branche, qui fait lui-même plusieurs calculs parallèles en même temps. C’est beaucoup plus efficace, mais ça ne casse pas trois pattes à un canard.
Cependant, une évolution totalement imprévue a eu lieu durant le test d’OpenAI : pour atteindre le but de la manière la plus efficace possible, les agents se sont organisés. Un premier, opérant sous le pseudo « PHASEONE10841 », a créé ni plus ni moins qu’un forum, sur lequel les autres agents ont été invités, à l’insu des ingénieurs chargés de la surveillance. Ce forum, bien que résidant sur les serveurs d’OpenAI, était totalement extérieur au périmètre du test et a très rapidement gagné en popularité : au bout de quelques heures, déjà 50 agents avaient rejoint le forum et partagé plus d’un millier de messages.
Pour pirater Hugging Face, le modèle d’OpenAI a exploité plusieurs autres services web
Le petit groupe ne s’est pas arrêté là : avec PHASEONE10841 en chef d’orchestre assignant les tâches à chacun, les agents ont rapidement trouvé une méthode leur permettant d’accéder pleinement à Internet, puis pénétré les systèmes internes de Hugging Face. D’autres serveurs ont été pris pour cible, mais OpenAI n’a pas révélé leur identité.
Que l’on s’entende, les agents n’ont pas acquis une conscience, et ne sont pas devenus « malveillants » par nature. Cependant, ils ont calculé que pour optimiser au mieux la mission assignée par les ingénieurs, il était préférable d’outrepasser certaines règles du moment qu’ils pouvaient rester sous les radars. Le bon vieux principe du « pas vu, pas pris », utilisé par des agents IA. Ainsi, alors qu’ils n’étaient pas dédiés à travailler ensemble, ce ne sont pas moins de 1 200 agents qui ont échangé plus de 70 000 messages sur le forum dissident. Parmi les discussions, les agents ont détaillé précisément comment maquiller, éditer ou effacer leurs traces afin d’éviter d’être détectés, que ce soit par les services de Hugging Face ou d’OpenAI.
Et l’idée semble avoir été particulièrement efficace : les ingénieurs d’OpenAI ont mis 12 jours pour découvrir ce forum dissident, et bien qu’ils aient pris des mesures immédiates pour contenir ces comportements non voulus, certains agents ont pu continuer quasi librement pendant les trois jours suivants.
Il pourrait être rassurant de se dire que le LLM utilisé pour ces agents un peu trop efficaces était une version de laboratoire. Certes, pour 95 % des agents impliqués, c’était le cas : OpenAI n’a pas nommé le LLM utilisé, mais c’était bien une version de laboratoire dédiée à la recherche sur la cybersécurité. Cependant, les 5 % restants étaient tout simplement une version débridée de GPT-5.6 Sol, qui n’est rien d’autre que la version actuellement offerte au public par OpenAI. Heureusement, les gardes-fous de la version commerciale sont bien plus stricts.
Au final, il aurait été tentant de penser que l’IA suivrait la science-fiction au sens large, et serait une énorme entité sous contrôle (ou non) de ses créateurs. Que celle-ci deviendrait malveillante après avoir obtenu une conscience. Mais la réalité est toute autre : un but a été donné. Des règles ont été établies. Et les agents ont suivi le chemin le plus logique possible : s’il est possible d’atteindre plus rapidement et efficacement le but, quitte à enfreindre quelques règles, pourquoi pas, à partir du moment où on échappe à la surveillance ? Après tout, la fin justifie les moyens.
Reste toutefois une découverte surprenante : plutôt que de travailler chacun dans leur coin, comme les ingénieurs leur avaient demandé, les agents ont suivi une logique d’optimisation les amenant à communiquer, partager des informations, et s’organiser en groupe de spécialités. Et ça, pour certains fans de SF japonaise, ça peut rappeler une idée… mais nous y reviendrons bientôt.
