Les agents IA deviennent voyous et causent de nouveaux problèmes de sécurité – mais Nvidia a un moyen de les arrêter

De juillet à aujourd’hui, il y a eu un nombre inquiétant d’histoires d’agents d’IA partis de leur propre chef pour faire des choses qu’ils n’étaient pas autorisés à faire.

Plus précisément, les agents OpenAI et Anthropic ont été impliqués dans des cas de sortie de leur environnement prévu, de tentative de manipulation de serveurs/logiciels, d'obtention d'un accès non autorisé à des systèmes externes, de compromission de l'infrastructure d'une plate-forme open source, etc. Alors que les craintes entourant les agents d'IA continuent de devenir voyous et les proclamations terrifiantes faites sur l'IA provoquant la fin de l'humanité, l'une des entreprises technologiques les plus importantes au monde et les partisans de l'IA ont créé une plate-forme qui cible ce problème de sécurité de l'IA.

Et avec plus de 100 partenaires de l'industrie technologique dans son ensemble utilisant la plateforme pour gérer les actions de leurs propres agents d'IA, il semble que les leaders du secteur de l'IA déploient des efforts plus concertés pour prévenir de futures failles de sécurité.

Voici ce que vous devez savoir sur la nouvelle plateforme Open Agent Safety de Nvidia.

L'Open Agent Safety Platform de Nvidia est destinée à sécuriser les agents IA depuis la phase de test jusqu'à leur déploiement

L'Open Agent Safety Platform de Nvidia est décrite comme une plate-forme logicielle ouverte et un système de référence qui vise à renforcer la sécurité de l'IA depuis la phase de test des agents jusqu'à son déploiement. Au cours de ce processus, une gouvernance complète ainsi qu'un contrôle sur les logiciels et le matériel, ainsi que sur les systèmes informatiques et robotiques qui exécutent les agents, seront mis en œuvre. En termes simples, l’Open Agent Safety Platform est destinée à empêcher les agents IA de devenir des voyous.

Jensen Huang, fondateur et PDG de NVIDIA, a fourni quelques commentaires dans un communiqué de presse sur la nouvelle plate-forme dévoilée par son entreprise.

« L'extraordinaire potentiel de l'IA pour la société ne se réalisera que si nous résolvons la sécurité de l'IA », a-t-il déclaré. « Alors que nous continuons à découvrir les frontières des capacités de l'IA, nous devons accélérer les découvertes à la frontière de la sécurité de l'IA. La sûreté et la sécurité nécessitent une ingénierie complète. NVIDIA Open Agent Safety Platform rassemble l'industrie, les chercheurs et les organisations du secteur public pour partager les meilleures pratiques, s'aligner sur les méthodes d'évaluation et favoriser la coopération internationale. Ensemble, nous pouvons placer la barre plus haut en matière de sécurité mondiale de l'IA. « 

La plate-forme de sécurité IA de Nvidia comprend un logiciel d'exécution sécurisé appelé NVIDIA OpenShell, qui fixe les limites des agents IA exécutés sur les processeurs. Ces limites sont définies comme des environnements d'exécution sécurisés destinés à contrôler la manière dont les agents d'IA autonomes exécutent leurs tâches données sur des modèles ouverts et fermés.

Plus de 100 leaders du secteur de l'IA ont été annoncés dans le cadre des efforts de Nvidia pour renforcer la sécurité de l'IA et utilisent activement sa plateforme Open Agent Safety. Certains des noms les plus reconnaissables de ce collectif incluent Anthropic, Hugging Face, Microsoft, Perplexity et JPMorgan Chase.

Paul Smith, directeur commercial d'Anthropic, a déclaré ceci à propos des avantages liés à l'utilisation de la plateforme Open Agent Safety de Nvidia. « Les entreprises confient aux agents d’IA une plus grande part de leur travail le plus important, et elles doivent diriger et vérifier ce que font ces agents, en particulier dans les environnements sensibles », a-t-il noté. « Claude Managed Agents donne aux entreprises une vision claire de ce que fait chaque agent, et la plate-forme NVIDIA ajoute une autre couche de gouvernance et de contrôle sur le matériel et les logiciels. »

Même SpaceXAI s'est engagé à utiliser la plate-forme d'IA sécurisée de Nvidia pour ses agents de codage Cursor et ses modèles Grok. Mike Nicolls, président de SpaceXAI, a parlé de la nouvelle collaboration de son entreprise avec Nvidia. « Comme les clients comptent davantage sur les agents pour accomplir leur travail réel, la sécurité devrait être renforcée en dehors du modèle par des contrôles supplémentaires que l'agent ne peut pas contourner », a-t-il déclaré. « Les clients devraient pouvoir fixer ces limites pour Cursor et Grok et avoir confiance qu'ils les conserveront. »

Réflexions finales

Les cas croissants d’agents d’IA s’échappant de leur environnement et faisant des ravages sur des plateformes sécurisées ont déclenché la sonnette d’alarme dans tout le secteur, incitant tout le monde, des citoyens ordinaires aux politiciens, à réclamer de nouvelles mesures de sécurité pour éviter que davantage d’incidents ne se produisent.

L'attaque en trois volets de la plateforme Open Agent Safety de NVIDIA, du logiciel open source OpenShell et de la conception du système de référence Sentry s'associe pour offrir un moyen plus sécurisé de gouverner les systèmes qui exécutent des agents IA.

J'espère que cette plate-forme nouvellement lancée entraînera une forte diminution des incidents d'agents IA malveillants au fil du temps.