Imaginez la scène. Vous vous promenez dans un jeu en monde ouvert et trouvez enfin un marchand avec l'objet dont vous avez vraiment besoin. Désormais, au lieu d'une interaction scénarisée ennuyeuse, il peut approfondir son enfance troublée, ou vous pouvez négocier avec eux pour obtenir une meilleure offre.

C’est l’un des futurs jeux proposés par Nvidia et Ubisoft alors qu’ils collaborent sur un projet d’humains numériques baptisé NEO NPCs.

Ce sont des personnages non jouables construits sur un grand modèle de langage comme ChatGPT – leur donnant raison, conversation et chat.

Ubisoft a présenté à la GDC deux de ces PNJ NEO qui possédaient également une connaissance intrinsèque de leur environnement, des réponses interactives et même une animation faciale et une synchronisation labiale.

Que sont les humains numériques ?

En termes simples, les humains numériques sont réalistes, mais pas nécessairement des avatars et des personnages de type humain créés à l’aide d’une combinaison de technologies d’IA.

Avec l’ajout d’un grand modèle de langage ou d’autres techniques d’IA de base, ils sont capables de s’engager dans des conversations réalistes et d’avoir des interactions de type humain. Si vous avez déjà conversé avec un chatbot IA, imaginez cela avec un visage et une voix.

Il n’existe pas de modèle unique pour créer ces personnages polyvalents. L'approche Nvidia utilise une gamme de technologies telles que le moteur cloud Nvidia Avatar pour l'animation faciale et la parole, ainsi que d'autres modèles pour assurer la synchronisation labiale et le grand modèle de langage cérébral.

Ce n'est pas seulement le cas dans les jeux : ils sont utilisés dans les soins de santé, les services financiers, la vente au détail et même dans les médias pour créer de nouvelles formes d'interaction entre l'entreprise et le consommateur.

Par exemple, ils ont été développés comme agents de santé virtuels capables de converser avec les patients, et comme avatars du service client pour les marques, donnant ainsi un visage numérique à l'étiquette.

Comment Ubisoft utilise-t-il les humains numériques ?

L'intelligence artificielle occupe une place croissante dans l'industrie du jeu vidéo. Une étude récente réalisée par Unity a révélé que 62 % des studios de jeux utilisent déjà l'IA dans leur flux de travail, tandis que d'autres explorent son utilisation dans le gameplay. Cela pourrait se manifester notamment en améliorant le fonctionnement des PNJ.

Nvidia travaille dans ce domaine depuis un certain temps et, même s'il commence à explorer le concept d'IA incarnée (avec des agents virtuels et des robots), cela n'apporterait pas grand-chose en soi, mais la startup d'IA Inworld dispose d'un grand modèle de langage. conçu pour donner vie aux personnages virtuels.

Cela a donné naissance aux nouveaux NEO NPC d'Ubisoft, une forme d'humain numérique qui a permis à l'équipe narrative d'Ubisoft de créer un arrière-plan complet, une base de connaissances et même un style de conversation unique à chaque personnage d'un jeu, même à ceux avec lesquels il est rarement interagi.

Deux des premiers sont Bloom et Iron, qui utilisent leur histoire unique et leurs traits de caractère pour interagir avec les joueurs de nouvelles manières. Intégrés dans un univers de démonstration, ils peuvent parler de la zone dans laquelle ils ont été placés, s'appuyer sur leur expérience et fournir une analyse et un aperçu de la conversation au joueur.

Pourquoi est-ce une grosse affaire?

Avatar Nvidia IA

Bien que cela ouvre de nouveaux potentiels impressionnants pour le jeu et le développement, facilitant même la création de PNJ car ils n'ont pas besoin de scripts individuels ni d'arbres de conversation, cela soulève certains problèmes concernant le travail des doubleurs, des écrivains et d'autres créatifs.

Il y a aussi le facteur effrayant à considérer. Mon collègue Tony Polanco a eu droit à une démonstration du moteur cloud Avatar au CES, présentant deux humains numériques alimentés par l'IA, appelés Jin et Nova. Ils ont eu une conversation approfondie avec le joueur et entre eux.

Je pourrais facilement me retrouver là à les écouter pendant des heures. Ou, comme Tony l'a écrit en janvier : « Ne pas avoir à subir les mêmes dialogues ennuyeux semble bien, mais cela pourrait aussi devenir une énorme perte de temps. Puisque les conversations sont dynamiques, il est possible de passer des heures à parler à un PNJ et non à un PNJ. même jouer au jeu principal.

Je pourrais imaginer une entreprise comme Roblox investir dans ce type de technologie, la proposant aux entreprises et aux marques de fournir des représentants d'IA dans leur monde virtuel, ou aux développeurs souhaitant avoir plus d'interactivité lorsque peu de joueurs sont en ligne.

Quand puis-je jouer avec un humain numérique ?

Outre le fait que vous devriez d’abord demander à l’humain numérique si vous pouvez jouer avec lui, il faudra probablement un certain temps avant que les véritables PNJ IA n’apparaissent dans les jeux commerciaux. Une grande partie du gros du travail sera effectuée dans le cloud, mais certaines s'appuieront sur des puces d'IA locales.

Nous voyons des rumeurs selon lesquelles des puces IA arriveraient sur la PlayStation 5 Pro, et Intel propose toute une gamme de puces avec un NPU intégré, marqué comme PC IA – mais les développeurs doivent encore travailler sur une intégration complète. Je pense que d’ici un an, nous aurons peut-être les premiers PNJ IA indépendants.

Ubisoft est convaincu que cela arrive – qui sait, peut-être que le prochain Assasins Creed aura des PNJ entièrement interactifs – le qualifiant d'avenir du jeu.

« La génération AI permettra aux joueurs de vivre des expériences encore inimaginables, avec des mondes plus intelligents, des personnages nuancés et des récits émergents et adaptatifs », a déclaré Guillemette Picard, vice-présidente directrice des technologies de production d'Ubisoft.