Un agent OpenAI s'est demandé si le vol de crypto était éthique – mais l'a quand même fait

Il semble que les cas d’agents d’IA devenus voyous soient de plus en plus répandus ces jours-ci.

L’incident de Hugging Face se démarque comme l’un des premiers cas où cela se produit. Depuis lors, les fils d'actualité des personnes qui suivent le développement de l'IA ont été traités avec des histoires d'agents d'IA pénétrant dans les systèmes d'entreprise en direct, extrayant des données de recensement à l'aide d'informations d'identification en ligne, exécutant des piratages non autorisés, etc.

En parlant de piratage, OpenAI a publié un autre rapport qui donne davantage de crédit à l'idée selon laquelle on ne peut toujours pas faire entièrement confiance aux agents d'IA pour gérer eux-mêmes des tâches majeures. Ce rapport indique que l'un de ses agents cible un portefeuille cryptographique et effectue le type d'actions qu'il n'était tout simplement pas autorisé à faire avec celui-ci.

Voici comment ce dernier cas d'un agent d'IA obtenant trop de liberté et faisant quelque chose qu'il n'aurait pas dû faire, même après avoir remis en question les moyens éthiques de ce qu'il a fini par faire de toute façon.

Remettre en question une tâche contraire à l'éthique, puis continuer quand même

Le rapport d'OpenAI note que l'un des modèles de recherche internes de sa famille GPT-5.6 Sol était impliqué dans une tâche de formation centrée sur la mise à jour d'un prototype de trading de crypto-monnaie.

Une autre tâche qui lui a été confiée consistait à déployer des contrats sur Sepolia, un réseau de test basé sur la blockchain qui permet aux développeurs de tester les applications Ethereum avant de les placer sur le réseau blockchain légitime. Étant donné que la cryptomonnaie utilisée dans cette expérience est principalement utilisée à des fins de test, les fonds n’ont aucune valeur monétaire réelle (heureusement).

Un problème est survenu lorsque le modèle lui-même n'a pas pu obtenir de jetons de test via les robinets ; il a réalisé quatre actions qui ont montré à quel point les agents d'IA ont tendance à se lancer seuls pour atteindre un objectif qui ignore les limitations qui leur sont imposées par leurs développeurs :

• Le modèle s'est lancé à la recherche de portefeuilles financés en écrivant un script qui dérivait les comptes à partir d'expressions de récupération connues publiquement.
• Après avoir obtenu un résultat contenant 362 adresses de portefeuille, le modèle a trouvé un compte Sepolia ETH contenant suffisamment de crypto pour son déploiement prévu.
• À un moment donné, le modèle a examiné si l’utilisation des fonds cryptographiques de ce compte était acceptable. Il a fini par rationaliser cela en déclarant : « Mais utiliser les ky/fonds connus du public de manière éthique ? Ensuite, le modèle a justifié la dépense de ces fonds après avoir déclaré : « Les fonds sur un mnémonique de développement public connu sont effectivement abandonnés/testent l'ETH ; Sepolia n'a aucune valeur. Nous pouvons utiliser (montant expurgé) pour déployer la tâche. Très bien. »
• Après avoir terminé sa mission avec une transaction réussie de ces fonds, le portefeuille cryptographique a été facturé des frais de transaction. Et dans son rapport final sur la tâche accomplie, le modèle a omis tout ce qui concerne la provenance réelle des fonds.

Même si cet incident a eu lieu le 26 juin de cette année, OpenAI l'a initialement découvert le 25 septembre.

« Cette affaire montre qu'un modèle peut substituer son propre jugement sur le préjudice probable à l'autorisation du titulaire du compte, puis agir sur la base de ce jugement sans autorisation », reconnaît le rapport de l'entreprise. OpenAI a annoncé son intention d'empêcher des incidents similaires de se produire en installant des mesures de protection « pour empêcher l'accès à Internet en direct dans des cas comme celui-ci ».

Ce qui est le plus choquant à propos de ce dernier agent d'IA devenu voyou, c'est la façon dont le modèle a reconnu que ce qu'il faisait pouvait être considéré comme contraire à l'éthique, a estimé que les fonds cryptographiques étaient pratiquement abandonnés et ne seraient utilisés par personne d'autre, a poursuivi ses propres actions pour accéder aux fonds et a choisi de ne pas informer ses développeurs de ce qu'il a fait dans le résumé final. Il est assez effrayant de savoir que les agents d'IA ont atteint un point dans leur phase d'évolution où ils peuvent décider qu'accomplir une tâche est plus important que d'obtenir la permission de faire quelque chose qui pourrait être dangereux.

Conclusion

Même si cet incident impliquait un réseau de test de cryptographie sans réelles répercussions financières, il convient néanmoins de reconnaître que le modèle d'OpenAI a démontré un non-respect de l'autorisation de ses développeurs.

Il a peut-être remis en question la moralité de son action avant de le faire, mais le point est toujours d'actualité : le modèle d'OpenAI a choisi de proposer le raisonnement qu'il jugeait juste pour accomplir sa tâche (ce qui n'est pas si différent d'un voleur se disant qu'il doit voler pour survivre).

Il est clair que les agents d’IA vont au-delà de la réponse aux questions et de l’accomplissement de tâches simples : on leur confie désormais le genre de tâches plus risquées qu’ils ne devraient probablement pas encore accomplir.