LTX Studio est une nouvelle plate-forme vidéo générative d'IA qui permet aux créateurs de réaliser une production complète à partir d'une seule invite, puis de personnaliser chaque plan et chaque son.

La vidéo générative d’IA est rapidement passée de courts clips à peine visibles à des vidéos presque prêtes pour la production en moins d’un an. Nous avons des plans si proches de la réalité qu'il est difficile de distinguer les faits de la fiction, mais pour la plupart, ce sont encore des plans courts de trois ou quatre secondes sans son.

Alors qu'il existe une multitude d'outils de génération et de nouveaux modèles à l'horizon d'OpenAI comme Sora qui vont transformer le marché, les développeurs de LTX Studio se concentrent sur la production.

Construit par Lightricks, l'équipe derrière les applications Facetune et Photoleap, il utilise un certain nombre de modèles d'IA génératifs privés, internes et open source pour faciliter la production vidéo d'IA.

Comment fonctionne LTX Studio ?

LTX Studio est une plateforme de contenu génératif. Il vous permet de créer de courts clips vidéo, de la musique, des effets sonores et même des dialogues à partir d'une invite de texte. Ce qui le distingue, c'est le fait que vous pouvez faire tout cela à partir d'une seule interface.

L'équipe utilise une gamme d'outils et de modèles d'IA génératifs, puis les intègre dans l'interface pour faciliter la création de vidéos IA multi-plans.

En commençant par une invite, telle que « faire un drame sur un couple échoué sur une plage après un accident d'avion », il génère des profils de personnages complets avec photo, style, nom et voix.

Une fois qu'il dispose des profils, il crée ensuite une série de scènes, chaque scène contient une série de plans de 3 à 4 secondes réalisés à partir de vidéos génératives. Vous pouvez ensuite personnaliser n'importe quel composant.

Dans quelle mesure LTX Studio fonctionne-t-il ?

Studio LTX

Dans le cadre de mon travail, je crée régulièrement du contenu IA, notamment la création de vidéos musicales, de publicités et de bandes-annonces pour démontrer le fonctionnement des différents modèles et outils. Cela implique généralement la post-production dans des applications traditionnelles comme Adobe Premiere.

Lors d'une démo de LTX Studio avec Zeev Farbman, PDG de Lightricks, il a repris l'idée de base d'un de mes clips vidéo et, en quelques mots, a préparé des dizaines de plans répartis sur une poignée de scènes et de personnages personnalisés.

Ce n'était pas parfait, les personnages avaient besoin d'un peu de travail, mais le fait que l'on soit passé d'une idée de base à un storyboard complet avec du contenu généré en quelques secondes était stupéfiant.

Le fait que l'on soit passé d'une idée de base à un storyboard complet avec du contenu généré en quelques secondes était stupéfiant.

Ce qui le rend encore plus excitant, c'est que je peux personnaliser les personnages une fois et cela les change à chaque plan.

Je pourrais changer le style une fois et le changer à chaque plan. Pas besoin de revenir en arrière et de régénérer de nouveaux clips individuels, de les recharger dans Premiere Pro et de recommencer.

Quand LTX Studio sera-t-il disponible ?

Studio LTX

L'équipe Lightricks développe toujours LTX Studio et finalise certaines fonctionnalités, notamment une capacité sonore impressionnante à contrôler la position et le mouvement de la caméra au sein d'un plan.

Cette fonctionnalité convertit efficacement l'image fixe en une scène 3D dans laquelle vous pouvez vous déplacer pour modifier l'angle et le mouvement de la caméra. Vous pourrez faire cela sur n’importe quel plan d’une scène.

Ils explorent également le potentiel de la synchronisation labiale, mais ont admis qu'« aucun n'est particulièrement bon pour l'instant ». Pour l’instant, le dialogue ressemble plus à une voix off que dans un film ou une émission de télévision.

La liste d'attente est déjà ouverte pour les personnes souhaitant s'inscrire plus tôt et le premier accès public est attendu ce mois-ci. D'après ce que j'ai vu, c'est déjà un outil de storyboard utile même sans le composant vidéo génératif.

Pourquoi est-ce important ?

Ce n’est pas le seul produit de studio d’IA générative que l’on m’a proposé récemment. Certains commencent par une histoire, d’autres par une image – il s’agit plutôt d’un pur produit génératif commençant par une simple invite mais donnant ensuite un contrôle granulaire très précis sur chaque élément.

Les produits Studio sont la prochaine étape logique pour l’IA générative. Être capable de créer un clip vidéo amusant est génial, mais être capable de créer plusieurs clips, d'ajouter de la musique, des effets sonores et des dialogues est un moment qui change la donne – et nous rapproche de « Netflix, fais un film sur les chats sur la lune ».