Jusqu’à présent, la possibilité qu’une intelligence artificielle puisse aider à concevoir une arme biologique restait surtout cantonnée aux laboratoires et aux scénarios des chercheurs en sécurité. Anthropic affirme désormais avoir rencontré le problème dans la nature : l’entreprise aurait interrompu cette année plusieurs utilisations de Claude par des scientifiques menant des recherches susceptibles de participer au développement d’armes biologiques, comme le rapporte The New York Times.
Et toute la difficulté tient dans un détail : Anthropic elle-même ne sait pas avec certitude si ces chercheurs avaient réellement de mauvaises intentions. Voilà qui est rassurant !
Dans un long rapport consacré aux détournements de ses modèles durant les huit derniers mois, l’entreprise explique avoir identifié plusieurs travaux relevant de ce que l’on appelle la recherche « dual use », ou à double usage. Une même recherche peut en effet permettre de mieux comprendre un virus, de développer un vaccin ou un traitement… mais également de trouver le moyen de rendre ce même virus plus dangereux.
« Ils jouent avec nos vies » : pourquoi un chercheur en IA claque la porte d'Anthropic
« Vous ne voyez pas quelqu’un, comme dans une bande dessinée, dire : “Hé, je veux construire une arme biologique pour tuer tout le monde” », résume Jacob Klein, responsable du renseignement sur les menaces chez Anthropic. « C’est une situation incroyablement nuancée. »
Un virus rendu plus dangereux
Anthropic donne notamment l’exemple d’un scientifique ayant utilisé Claude en mai dernier afin de l’aider à rédiger une demande de financement pour des recherches portant sur le chikungunya. Ce virus transmis par les moustiques provoque notamment de fortes douleurs articulaires pouvant persister plusieurs mois.
Après tout, pourquoi pas ? Utiliser une IA pour aider à rédiger une demande de subvention scientifique ne devrait pas faire sonner toutes les alarmes de San Francisco. Sauf que les recherches envisagées allaient sensiblement plus loin… et faisaient appel à des entités bien particulières.
Le scientifique souhaitait expérimenter différentes mutations du virus afin de le rendre plus nocif au fil d’infections successives sur des animaux vivants. Même si l’idée paraît inquiétante, ce n’est pas nécessairement malveillant : comprendre comment un virus peut évoluer vers une forme plus dangereuse peut justement permettre d’anticiper cette évolution et de préparer vaccins et traitements. Seulement voilà : les travaux devaient être réalisés au sein d’un institut de recherche militaire. AH !, pour paraphraser Denis Brogniart.
Ce que nous ne savons pas, c’est si la recherche devait servir à créer une arme [...] Mais une institution militaire effectuant des recherches de gain de fonction est préoccupante.
Jacob Klein.
La société a également constaté que les chercheurs concernés contournaient les restrictions empêchant normalement l’accès à Claude depuis certaines régions et tentaient de dissimuler la finalité de leurs recherches afin d’échapper aux protections intégrées au modèle. Face au doute et aux conséquences potentielles, Anthropic a préféré sortir le gros bouton rouge : les comptes associés ont été bannis.
Le problème est d’autant plus sérieux que les modèles évoluent rapidement. Anthropic indique que ses évaluations réalisées l’année dernière montraient encore que ses anciens modèles n’apportaient pas une aide réellement significative pour mener des recherches biologiques dangereuses. Mais ça, c’était l’année dernière, autant dire une éternité.
Les États-Unis verrouillent les IA les plus avancées d’Anthropic
Les versions récentes de Claude sont devenues bien meilleures pour mener des raisonnements scientifiques complexes, rechercher des informations et accompagner un utilisateur durant plusieurs étapes d’un travail. Autant de progrès particulièrement utiles pour un chercheur légitime, mais qui peuvent tout autant profiter à quelqu’un dont les intentions le sont beaucoup moins.
Anthropic a donc renforcé les restrictions concernant certaines requêtes biologiques à double usage. Avec un problème qui risque de devenir récurrent pour les laboratoires d’IA : empêcher les usages dangereux sans bloquer au passage des recherches médicales parfaitement légitimes. S’il serait idiot de bloquer le chercheur au CNRS ou à l’Institut Pasteur, il s’agit de ne pas laisser passer le boy-scout radioactif ou une recherche dédiée à la guerre biologique, que ce soit pour une armée ou le Dr D’enfer !
Et il n’y a pas que la biologie
La biologie est d’ailleurs loin d’être le seul domaine dans lequel Claude aurait été détourné. Anthropic affirme avoir identifié des acteurs présumés liés aux gouvernements chinois et iranien utilisant ses modèles afin de surveiller des dissidents ou des communautés installées à l’étranger.
Des médias d’État russes auraient quant à eux utilisé Claude pour produire de la propagande prenant l’apparence d’articles provenant de médias indépendants, notamment avec de fausses informations concernant une élection en Moldavie.
Plus nouveau, Anthropic dit également avoir découvert plusieurs tentatives d’utilisation de Claude pour développer des logiciels participant à la conception d’armes conventionnelles : armes à feu, missiles, drones armés ou encore bombes. Trois cas auraient été détectés en Chine, deux en Russie et un au Yémen. Anthropic ne donne pas l’identité de ce dernier utilisateur, mais le contexte pointerait vers les Houthis soutenus par l’Iran.
Reste que les cas concernant la recherche biologique sont probablement les plus préoccupants du rapport. Susan Monarez, microbiologiste et ancienne directrice des CDC, estime qu’ils apportent des exemples concrets montrant que certains acteurs cherchent déjà à utiliser discrètement les modèles les plus avancés afin d’augmenter leurs chances de concevoir des agents pathogènes dangereux.
C’est aussi toute l’ironie de la situation : les capacités qui pourraient permettre à l’intelligence artificielle d’accélérer considérablement la découverte de médicaments ou de vaccins sont exactement les mêmes que celles susceptibles d’aider à concevoir quelque chose que l’on préférerait largement ne jamais voir sortir d’un laboratoire.
L’IA n’a décidément pas attendu Skynet pour commencer à poser quelques problèmes… les humains s’en chargent bien assez pour elle.
