OpenAI a publié un nouvel ensemble de vidéos générées à l'aide de son modèle Sora AI. Ils ont été partagés sur TikTok et incluent un cheval sur des patins à roulettes, un dragon bulle et du thé mythique.

Le laboratoire d'IA taquine Sora depuis sa première présentation au monde en février, ce qui a donné lieu à d'intenses spéculations sur la date à laquelle il serait enfin disponible pour que le public puisse l'essayer.

Dans une récente interview avec le podcast WVFRM de Marquees Brownlee, l'équipe Sora a déclaré qu'il était peu probable qu'une sortie publique ait lieu de si tôt. Cela était dû en partie à la nécessité de recherches plus approfondies en matière de sécurité, et probablement aussi au fait qu'il faut quelques minutes et non quelques secondes pour réaliser une vidéo.

Pour l’instant, nous devrons nous contenter des vidéos que l’équipe elle-même produit, souvent en réponse aux suggestions des internautes sur les réseaux sociaux. Dans l’une des nouvelles vidéos, il leur a été demandé de montrer « une jolie famille de lapins en train de dîner dans leur terrier ».

En quoi Sora est-il différent des autres modèles vidéo IA ?

Sora

Il existe actuellement plusieurs modèles et outils vidéo d'IA sur le marché, avec Runway déjà près d'un an après son lancement public et Pika Labs se développant dans les effets sonores et les dialogues synchronisés sur les lèvres en partenariat avec ElevenLabs.

Aucun d'entre eux, y compris les clips très réalistes de Stable Video Diffusion, ne semble se rapprocher de ce qui est possible avec Sora. Cela pourrait être dû au temps, car l'équipe a déclaré à Brownlee qu'elle avait suffisamment de temps pour partir, préparer un café et revenir avant qu'une vidéo ne soit enfin générée.

@openai

♬ Bulle – Studio de son officiel

Ils ont également utilisé le nombre massif de GPU disponibles pour OpenAI pour entraîner Sora et ont adopté un nouveau type d'architecture qui fusionne les techniques de modèles tels que GPT-4 et DALL-E. De plus, Sora utilise un ensemble de données d'entraînement très diversifié comprenant une variété de tailles, de longueurs et de résolutions.

L'une des vidéos les plus remarquables de cette nouvelle série de clips est un dragon apparemment fait de bulles et soufflant du feu de bulles. Le mouvement, la qualité et la physique sont tous réalisés de manière impressionnante.

Tout vient d'une seule invite

Sora

Actuellement, l'équipe a un contrôle minimal sur le résultat, car l'invite se fait entièrement par texte et jusqu'à présent, elle provenait d'une invite assez courte d'une phrase.

Cela changera probablement au moment où Sora sera rendu public, car ils travaillent sur des contrôles plus précis pour manipuler l'éclairage, le mouvement de la caméra et l'orientation. Ce sont toutes des fonctionnalités disponibles sur d’autres plateformes comme Pika et Runway.

@openai

♬ Morceaux de mémoire – Carlos Carty

La capacité de Sora à créer quelque chose de remarquable à partir d'une courte invite est impressionnante. Dans l’un des nouveaux clips, nous voyons une théière versant de l’eau dans une tasse, mais la tasse est remplie de ce qui ressemble à un vortex tourbillonnant de couleurs et de mouvements.

La plupart des nouvelles vidéos sont partagées sur TikTok dans un format vertical, montrant qu'il est possible de créer des vidéos verticales en utilisant simplement une invite de texte.

Qu'est-ce qui retarde la date de sortie de Sora ?

@openai

♬ Musique Funk Hip Hop (814197) – Pavel

Nous voulons tous jouer avec Sora. Il s'agit d'un outil impressionnant qui présente des cas d'utilisation dans différents secteurs, notamment la production vidéo, le marketing et l'architecture. L’une des nouvelles vidéos nous présente une cuisine légèrement étrange avec un lit sur le côté.

L'équipe Sora a déclaré à Brownlee qu'il y avait du travail à faire sur Sora avant qu'il ne soit prêt à être transformé en un produit réel ou inclus dans ChatGPT.

Sora

Tim Brooks, responsable de la recherche chez Sora, a déclaré : « La raison pour laquelle nous voulions sortir Sora sous cette forme avant qu'il ne soit prêt est de découvrir ce qui est possible et quelles recherches de sécurité sont nécessaires. »

« Nous voulions montrer au monde que cette technologie se profile à l'horizon et entendre les gens dire comment elle pourrait être utile », et recueillir les commentaires des chercheurs en sécurité sur les risques qu'elle présente.

Il a déclaré que non seulement Sora n'était pas un produit, mais qu'ils n'avaient même pas de calendrier pour savoir quand il pourrait devenir un produit – alors ne vous attendez pas à pouvoir l'utiliser cette année.