NVIDIA suralimente le développement de robots humanoïdes avec l'IA
Nvidia a annoncé une suite de technologies d'IA conçues pour accélérer le développement de robots humanoïdes. Le portefeuille comprend Isaac GR00T N1, salué comme le premier modèle de fondation ouvert et entièrement personnalisable au monde pour le raisonnement et les compétences humanoïdes à usage général.
Parallèlement à ce modèle de base, NVIDIA introduit également des cadres de simulation et des plans, tels que le plan du NVIDIA ISAAC GR00T pour générer des données synthétiques. En outre, la société a dévoilé Newton, un moteur de physique open source actuellement en développement en collaboration avec Google Deepmind et Disney Research, spécifiquement conçu pour la création de robots.
Le modèle GR00T N1 est maintenant disponible et représente le premier d'une famille prévue de modèles entièrement personnalisables que Nvidia a l'intention de pré-entraîner et de libérer aux développeurs de robotique dans le monde. Cette initiative vise à accélérer considérablement la transformation des industries qui luttent actuellement sur les pénuries de main-d'œuvre mondiales, estimées à plus de 50 millions de personnes dans le monde.
«L'âge de la robotique généraliste est là», a déclaré Jensen Huang, fondateur et PDG de Nvidia. «Avec NVIDIA ISAAC GR00T N1 et les nouveaux cadres de génération de données et d'apprentissage du robot, les développeurs de robotiques ouvriront partout la prochaine frontière à l'ère de l'IA.»
Nvidia GR00T N1: AI pour le développement de robots humanoïdes
Le modèle de la Fondation GR00T N1 possède une architecture sophistiquée à double système, s'inspirant des principes de la cognition humaine. Le premier composant, surnommé «Système 1», est un modèle d'action rapide, reflétant des réflexes humains ou de l'intuition. Complétant cela est «System 2», un modèle plus lent qui est conçu pour la prise de décision délibérée et méthodique.
Propulsé par un modèle de langue de vision, System 2 analyse son environnement et les instructions qui lui ont été données pour formuler des plans d'action. Le système 1 traduit ensuite ces plans en mouvements de robot précis et continus. Surtout, le système 1 est formé à la fois sur les données de démonstration humaine et une grande quantité de données synthétiques générées par la plate-forme NVIDIA OMIVERSE.
Les capacités de GR00T N1 lui permettent de généraliser facilement entre les tâches communes, telles que la saisie et la manipulation d'objets avec un ou les deux bras, et le transfert d'objets entre les bras. Il peut également effectuer des tâches complexes et en plusieurs étapes nécessitant un contexte à long terme et une combinaison de compétences générales. Ces capacités ont des applications potentielles dans divers secteurs, notamment la manutention des matériaux, l'emballage et l'inspection de la qualité.
Les développeurs et les chercheurs ont la flexibilité de former davantage GR00T N1 en utilisant leurs propres données réelles ou synthétiques, en les adaptant à leurs exigences de robot humanoïde ou de tâche spécifiques.
Au cours de son discours d'ouverture lors de la récente conférence du GTC, Huang a présenté un robot humanoïde à partir de tâches de rangement des ménages de manière autonome. Cette démonstration a utilisé une politique post-formée construite sur le modèle GR00T N1, mettant en évidence l'efficacité de la collaboration de formation en IA entre 1x et NVIDIA.
«L'avenir des humanoïdes concerne l'adaptabilité et l'apprentissage», a déclaré Bernt Børnich, PDG de 1x Technologies. «Alors que nous développons nos propres modèles, GR00T N1 de NVIDIA donne un coup de pouce significatif au raisonnement et aux compétences des robots.
«Avec un minimum de données post-formation, nous avons complètement déployé sur Neo Gamma – admirant notre mission de créer des robots qui ne sont pas seulement des outils, mais des compagnons capables d'aider les humains de manière significative et incommensurable.»
D'autres développeurs de robots humanoïdes qui ont accédé précoce à GR00T N1 comprennent la robotique Agility, la dynamique de Boston, la robotique des mentoré et la robotique neura.
Nvidia, Google Deepmind et Disney Research collaborent sur le moteur de physique de Newton
Dans une nouvelle augmentation de l'écosystème de la robotique, Nvidia a annoncé un effort de collaboration avec Google Deepmind et Disney Research pour développer Newton, un moteur de physique open source conçu pour permettre aux robots d'apprendre à gérer des tâches complexes avec une plus grande précision.
Construit sur le cadre NVIDIA WARP, Newton sera optimisé pour l'apprentissage des robots et sera compatible avec les cadres de simulation populaires tels que Mujoco et Nvidia Isaac Lab. De plus, les entreprises de collaboration ont l'intention d'intégrer le moteur de physique propriétaire de Disney à Newton.
Google Deepmind et Nvidia travaillent également ensemble pour développer Mujoco Warp, une technologie qui devrait accélérer les charges de travail de l'apprentissage automatique de la robotique de plus de 70 fois. Cette progression sera mise à la disposition des développeurs via la bibliothèque open-source MJX de Google Deepmind, ainsi que via Newton.
Disney Research sera parmi les premiers à tirer parti de Newton pour poursuivre sa plate-forme de caractère robotique, qui alimente les robots de divertissement de nouvelle génération. Les exemples incluent les droïdes BDX inspirés de Star Wars expressifs qui ont rejoint Huang sur scène lors de son Keynote GTC.
« Les droïdes BDX ne sont que le début.
« Cette collaboration nous permettra de créer une nouvelle génération de personnages robotiques qui sont plus expressifs et engageants que jamais auparavant – et à se connecter avec nos invités d'une manière que seul peut. »
En outre, NVIDIA et Disney Research – en collaboration avec Intrinsic – ont annoncé une collaboration supplémentaire axée sur la construction de pipelines OpenUSD et l'établissement des meilleures pratiques pour les flux de travail des données robotiques.
Nvidia aborde le manque de données pour la formation de robots humanoïdes
La disponibilité des ensembles de données importantes, divers et de haute qualité est cruciale pour un développement efficace des robots, mais la capture de ces données peut être coûteuse. Pour les robots humanoïdes, la quantité de données de démonstration humaine du monde réel est intrinsèquement limitée.
Pour relever ce défi, Nvidia a dévoilé le plan Isaac GR00T pour la génération de mouvement de manipulation synthétique. Construit sur les modèles OmIverse et Nvidia Cosmos Transfer World Foundation, ce plan permet aux développeurs de générer de grandes quantités exponentiellement de données de mouvement synthétique pour les tâches de manipulation, à partir d'un petit nombre de démonstrations humaines.
En utilisant les composants initiaux disponibles pour le plan, NVIDIA a généré avec succès 780 000 trajectoires synthétiques – équivalent à 6 500 heures, ou neuf mois continus, de données de démonstration humaine – en seulement 11 heures. Par la suite, en combinant ces données synthétiques avec des données du monde réel, NVIDIA a obtenu une amélioration de 40% des performances de GR00T N1 par rapport à l'utilisation de données réelles.
Pour autonomiser davantage la communauté des développeurs avec de précieuses ressources de formation, NVIDIA publie l'ensemble de données GR00T N1 dans le cadre d'un ensemble de données d'IA physique open source plus large, également annoncé au GTC et désormais accessible sur le visage étreint.
Alors, quand est-ce que tout cela est disponible?
Les scénarios de données de formation et d'évaluation des tâches NVIDIA GR00T N1 pour les robots humanoïdes sont disponibles pour le téléchargement immédiat de Hugging Face et GitHub. Le Blueprint NVIDIA ISAAC GR00T pour la génération de mouvement de manipulation synthétique est également disponible en démonstration interactive sur build.nvidia.com ou pour télécharger depuis GitHub.
Le supercalcupteur NVIDIA DGX Spark Personal AI, également annoncé aujourd'hui au GTC, offre aux développeurs un système prêt à l'emploi pour étendre les capacités de GR00T N1 pour de nouveaux robots, tâches et environnements sans nécessiter une programmation personnalisée approfondie.
Le Newton Physics Engine devrait être disponible plus tard cette année.
