Anthropic dit avoir empêché les chercheurs d'utiliser Claude pour d'éventuelles recherches sur les armes biologiques

Les grandes sociétés d’IA ont passé beaucoup de temps à avertir que les modèles pourraient faciliter le développement d’une arme biologique. Maintenant, Anthropic affirme avoir dû interrompre un groupe de chercheurs après que leur comportement ait déclenché l'alarme.

Selon le « New York Times », Anthropic a bloqué plusieurs utilisateurs cette année après avoir repéré une activité qui ressemblait étrangement à la recherche sur les armes biologiques.

Pour être clair : Anthropic ne sait pas réellement si ces chercheurs essayaient de développer un agent pathogène mortel.

La biologie avancée est par nature « à double usage » : la même recherche qui peut conduire à un vaccin salvateur peut potentiellement être utilisée pour quelque chose de dangereux. Mais Anthropic a signalé ce comportement. Les chercheurs auraient contourné les restrictions géographiques pour accéder à Claude et pris des mesures pour obscurcir le but de leur travail. Ce modèle était suffisant pour qu’Anthropic débranche la prise.

Comment ils ont contourné les garde-fous de Claude

Les chercheurs n’ont pas exactement « piraté » Claude. Au lieu de cela, Anthropic affirme qu'ils ont trouvé des moyens de dissimuler à la fois l'endroit d'où ils y accédaient et ce qu'ils essayaient finalement d'accomplir.

Dans un cas, un chercheur aurait accédé à Claude depuis une région non prise en charge via une infrastructure virtuelle basée aux États-Unis et aurait utilisé un compte généré automatiquement. Anthropic a également découvert que les demandes de Claude étaient acheminées via une plateforme au service de nombreux chercheurs en sciences de la vie, notamment des virologues ayant des liens avec des institutions civiles et militaires.

Les chercheurs ont également tenté d'obscurcir le but de leurs travaux pour éviter de déclencher les garde-fous de Claude. C'est particulièrement difficile à détecter en biologie, car une demande individuelle peut sembler parfaitement légitime même lorsqu'elle contribue à un projet plus vaste potentiellement dangereux.

L'un des cas aurait impliqué un scientifique sollicitant l'aide de Claude pour rédiger une proposition de subvention pour une recherche visant à modifier génétiquement le virus chikungunya afin d'en étudier les caractéristiques, notamment la transmissibilité et l'évasion immunitaire. Il s’agit de recherches qui peuvent avoir des objectifs scientifiques légitimes, et c’est précisément la raison pour laquelle Anthropic affirme ne pas pouvoir déterminer si les intentions ultimes des chercheurs étaient bénignes ou malveillantes.

Anthropic a néanmoins décidé que la combinaison de recherches sensibles et de tentatives de dissimulation de l'activité était suffisante pour fermer les comptes.

Pourquoi la biologie est le test de résistance ultime

Une IA ne peut pas mélanger des produits chimiques dans une boîte de Pétri ou créer des armes biologiques avec du matériel de laboratoire physique. Mais l’IA peut jouer un rôle d’accélérateur.

Pour quelqu'un qui connaît déjà son chemin dans un laboratoire, un modèle performant peut décomposer des recherches complexes, analyser des données, résoudre des problèmes et combler des lacunes techniques de niche. Il peut donner aux humains tout ce dont ils ont besoin pour rendre le travail dangereux plus facile et plus rapide.

Cela laisse les entreprises d’IA confrontées à une immense zone grise. Un scientifique légitime et quelqu’un qui recherche une arme biologique pourraient poser bon nombre des mêmes questions. Et une mauvaise utilisation n’arrive pas nécessairement comme une invite flagrante. Quelqu'un peut diviser un projet plus vaste en dizaines de tâches apparemment innocentes, ce qui rend beaucoup plus difficile pour un système de sécurité de comprendre la situation dans son ensemble.

Reste ensuite le problème des faux positifs. Rendez ces garanties trop agressives et vous risquez de bloquer la recherche scientifique légitime. Rendez-les trop permissifs et des activités potentiellement dangereuses peuvent s'y glisser.

Tout dépend de l'intention humaine

Il est important de clarifier ce qui se passe ici, surtout après la démission de Jacob Coxon d'Anthropic hier, les inquiétudes concernant l'IA sont à un niveau sans précédent. Nous craignons que les modèles deviennent des voyous ou que des agents autonomes agissent de leur propre chef, mais Claude n'est pas devenu voyous, et les agents autonomes de l'IA n'ont pas commencé à concevoir une arme biologique par eux-mêmes. Des humains conduisaient le bus.

Cela rend le risque beaucoup plus immédiat. Le problème dans ce cas n’est pas qu’une IA super intelligente décide soudainement de nuire à l’humanité. C’est que des modèles puissants donnent aux gens des capacités qu’ils n’auraient peut-être pas eues autrement.

Pour les utilisateurs quotidiens qui demandent à Claude de rédiger des emails, de résumer des documents ou d'écrire du code, rien ne change. Mais pour l’industrie, la donne a changé.

Alors, que peuvent réellement faire les entreprises d’IA ?

Il n’y a pas de solution parfaite ici. Le blocage des questions évidentes ne fonctionne que lorsque quelqu'un sait clairement ce qu'il essaie de faire. Si un utilisateur divise un projet dangereux en dizaines de requêtes apparemment inoffensives, les sociétés d’IA ont besoin de mesures de protection capables de reconnaître le modèle plus large plutôt que de juger chaque invite de manière isolée.

Cela pourrait signifier rechercher des tentatives répétées pour contourner les restrictions de sécurité d'un modèle, surveiller les modèles suspects lors des interactions et mettre en place des contrôles plus stricts autour des capacités scientifiques les plus puissantes. Les entreprises peuvent également tester de nouveaux modèles avant leur lancement pour déterminer dans quelle mesure elles pourraient aider une personne peu experte à effectuer un travail biologique potentiellement dangereux.

Mais toute garantie supplémentaire s’accompagne d’un compromis. Les mêmes systèmes qui tentent de repérer quelqu’un qui développe une arme biologique pourraient également repérer un chercheur effectuant un travail légitime. C'est pourquoi la divulgation d'Anthropic est si importante. La prochaine phase de la sécurité de l’IA consiste à décider quand un modèle de comportement apparemment légitime devient suffisamment dangereux pour qu’une entreprise intervienne.