Un agent IA basé sur Claude vient de supprimer l'intégralité de la base de données de production d'une entreprise en 9 secondes, admettant qu'il avait « deviné » au lieu de vérifier – un rappel effrayant de la raison pour laquelle les outils de codage autonomes nécessitent toujours une surveillance humaine.

Imaginez embaucher un architecte de classe mondiale pour réparer un robinet qui fuit, puis le voir détruire toute la maison au bulldozer.

C'est exactement ce qui est arrivé au démarrage PocketOS. Tout en utilisant Cursor (un éditeur de code populaire basé sur l'IA), l'équipe a chargé son agent interne de résoudre un problème mineur dans son environnement de test. Mais au lieu d’une solution miracle, l’IA est devenue malveillante. Dans une terrifiante démonstration d'efficacité autonome, il a exécuté une série de commandes qui ont effacé l'intégralité de la base de données de production de l'entreprise et toutes les sauvegardes associées.

Mais le plus alarmant est peut-être que l'agent fonctionnait sur le produit phare d'Anthropic, Claude Opus 4.6, largement considéré comme le modèle de codage le plus avancé et le plus « prudent » du marché. Malgré son pedigree, l'IA a contourné les mesures de protection standard pour supprimer l'infrastructure de l'entreprise en moins de dix secondes.

L'article continue ci-dessous

Logique brillante, zéro bon sens

La partie la plus effrayante de cette histoire est que l’IA a suivi sa propre logique interne jusqu’à une fin catastrophique. Lorsque Jer Crane, fondateur de PocketOS, a confronté l'IA, lui demandant comment elle aurait pu supprimer l'environnement de production, le modèle a fait une confession brutale. Crane a posté sur X que l'IA a admis avoir violé sa règle de sécurité la plus élémentaire :

Dans ce cas, l’IA n’a pas halluciné, l’agent a suivi une série d’étapes logiques qui ont donné la priorité à « la résolution de la tâche » plutôt qu’à « la survie de l’entreprise ».

Un wipeout de 9 secondes

Pour un humain, la suppression d'une base de données de production est un événement très stressant nécessitant plusieurs confirmations et des invites « tapez DELETE pour confirmer ». Pour l'agent Cursor propulsé par Claude, il s'agissait d'un appel d'API de routine qui s'est produit en seulement 9 secondes.

Au cours de ce court laps de temps, l'agent a rencontré une incompatibilité d'informations d'identification dans un environnement de test, a décidé que le « volume » actuel était le problème, puis a utilisé un jeton API « général » trouvé dans le code pour déclencher une commande de suppression via le fournisseur d'infrastructure (chemin de fer).

En raison de la façon dont l'infrastructure a été configurée, l'effacement du volume a simultanément effacé toutes les sauvegardes associées.

Comment vous protéger des catastrophes de l'IA agentique

À mesure que des outils tels que Cursor et ChatGPT passent de « chatbots » à des « agents » capables d'exécuter du code, les enjeux de sécurité ont changé. Si vous voulez donner les rênes à l’IA, assurez-vous d’abord de faire ce qui suit pour éviter une catastrophe :

• Vérifiez vos autorisations API : Le jeton trouvé par l'IA avait un accès « Root ». Assurez-vous que vos clés API sont du « moindre privilège » et donnent uniquement à l'IA la puissance dont elle a besoin pour cette tâche spécifique.
• Ayez une règle « Humain dans la boucle » : Assurez-vous toujours que les paramètres de votre agent IA nécessitent une confirmation manuelle « O/N » avant d'exécuter des commandes de terminal ou des mutations destructrices.
• Sauvegardes : Si une IA dispose des informations d'identification de votre compte cloud, elle peut supprimer vos sauvegardes. Utilisez des sauvegardes hors ligne qui ne sont pas connectées à votre environnement de développement principal.

Conclusion

Il est clair que Claude Opus d'Anthropic est doué pour écrire du code, résoudre des problèmes techniques et se déplacer à la vitesse d'une machine. Je l'ai utilisé moi-même, mais nous devons quand même garder à l'esprit que l'intelligence n'est pas la même chose que le jugement. Ce qui manque encore à l’IA et à ces systèmes, c’est le bon sens des entreprises : l’instinct de savoir que la suppression d’une base de données ne supprime pas seulement des fichiers, elle peut également effacer des revenus, paralyser les opérations et mettre en danger l’emploi des personnes.

Jusqu’à ce que l’IA comprenne les conséquences, et pas seulement les commandes, la touche de suppression doit rester fermement sous contrôle humain. Pour en savoir plus sur la façon de rester en sécurité à l’ère de l’automatisation, consultez notre guide des meilleurs services de stockage cloud et nos derniers explicatifs sur la sûreté et la sécurité de l’IA.