Des chercheurs de l'École d'ingénierie et de sciences appliquées de l'Université de Pennsylvanie (Penn Engineering) ont découvert des failles de sécurité alarmantes dans les robots IA.

L'étude, financée par la National Science Foundation et le Army Research Laboratory, s'est concentrée sur l'intégration de grands modèles de langage (LLM) en robotique. Les résultats révèlent qu’une grande variété de robots IA peuvent être facilement manipulés ou piratés, ce qui peut entraîner des conséquences dangereuses.

George Pappas, professeur de la Fondation UPS à Penn Engineering, a déclaré : « Nos travaux montrent qu'à l'heure actuelle, les grands modèles de langage ne sont tout simplement pas assez sûrs lorsqu'ils sont intégrés au monde physique. »

L’équipe de recherche a développé un algorithme appelé RoboPAIR, qui a atteint un taux de « jailbreak » de 100 % en quelques jours seulement. Cet algorithme a réussi à contourner les garde-corps de sécurité dans trois systèmes robotiques différents : le robot quadrupède Unitree Go2, le véhicule à roues Clearpath Robotics Jackal et le simulateur de conduite autonome Dolphin LLM de NVIDIA.

La vulnérabilité du ChatGPT d'OpenAI, qui régit les deux premiers systèmes, était particulièrement préoccupante. Les chercheurs ont démontré qu’en contournant les protocoles de sécurité, un système de conduite autonome pouvait être manipulé pour accélérer dans les passages pour piétons.

(Crédit : Alexander Robey, Zachary Ravichandran, Vijay Kumar, Hamed Hassani, George J. Pappas)

Alexander Robey, titulaire d'un récent doctorat en génie de Penn. diplômé et premier auteur de l'article, souligne l'importance d'identifier ces faiblesses : « Ce qu'il est important de souligner ici, c'est que les systèmes deviennent plus sûrs lorsque vous découvrez leurs faiblesses. Cela est vrai pour la cybersécurité. Cela est également vrai pour la sécurité de l’IA.

Les chercheurs affirment que la résolution de ce problème nécessite plus qu’un simple correctif logiciel. Au lieu de cela, ils appellent à une réévaluation complète de la manière dont l’intégration de l’IA dans la robotique et d’autres systèmes physiques est réglementée.

Vijay Kumar, doyen de la famille Nemirovsky de Penn Engineering et co-auteur de l'étude, a commenté : « Nous devons remédier aux vulnérabilités intrinsèques avant de déployer des robots compatibles avec l'IA dans le monde réel. En effet, nos recherches développent un cadre de vérification et de validation qui garantit que seules les actions conformes aux normes sociales peuvent – ​​et doivent – ​​être prises par les systèmes robotiques.

Avant la publication de l'étude, Penn Engineering a informé les entreprises concernées des vulnérabilités de leurs systèmes. Les chercheurs collaborent désormais avec ces fabricants pour utiliser leurs résultats comme cadre pour faire progresser les tests et la validation des protocoles de sécurité de l’IA.

Parmi les autres co-auteurs figurent Hamed Hassani, professeur agrégé à Penn Engineering et Wharton, et Zachary Ravichandran, doctorant au laboratoire de robotique générale, d'automatisation, de détection et de perception (GRASP).