Avec l'annonce récente de ses outils Gen-3 Alpha, Runway est sur le point de faire passer la création vidéo IA au niveau supérieur. À la fin de ce guide, vous comprendrez clairement comment utiliser l'outil de synchronisation labiale de Runway et serez en mesure de décider s'il s'agit de la bonne solution pour vos besoins de création vidéo.

Runway, l'un des premiers développeurs de la plateforme révolutionnaire de génération d'images Stable Diffusion, apporte une riche expérience à tous les aspects de la création d'images et de vidéos alimentée par l'IA. L'une des fonctionnalités les plus accessibles et les plus populaires de Runway est son outil de synchronisation labiale audio-vidéo. Cette technologie permet aux utilisateurs de créer des vidéos réalistes de têtes parlantes en faisant correspondre les mouvements des lèvres à l'entrée audio. Que vous soyez un créateur de contenu, un éducateur ou un professionnel, cet outil offre une gamme d'applications pour améliorer vos projets vidéo.

1. Connectez-vous

Se connecter à Piste. Si c'est la première fois que vous utilisez la plateforme AI, vous pouvez vous inscrire en utilisant votre compte Gmail.

2. Navigation dans l'interface

La fonction de synchronisation labiale vidéo se trouve dans le menu audio du tableau de bord du compte Runway. aux côtés des outils 3D, et de la génération d'images et de vidéos. Sélectionnez votre voix préférée parmi les options.

Ce qui est bien avec l'interface utilisateur, c'est l'utilisation généreuse de matériel didacticiel à chaque étape, ce qui est rassurant pour les débutants qui se lancent dans le parcours médiatique de l'IA.

3. Saisissez votre invite

La page de synchronisation labiale elle-même est d’une simplicité et d’une facilité d’utilisation réconfortantes. En haut à gauche se trouve l'espace réservé aux saisies utilisateur. Cela peut se faire via une invite de texte, un fichier audio téléchargé ou un outil d'enregistrement audio à la volée.

Si vous passez au forfait Pro pour 35 $ par mois, vous pouvez même enregistrer votre propre voix personnalisée à utiliser avec un avatar.

4. Choisissez votre voix

J'ai décidé de télécharger un avatar généré par l'IA que j'ai créé plus tôt et de le combiner avec un court script pour tester la précision des mouvements des lèvres.

Il existe une large gamme de voix parmi lesquelles choisir, ce qui reflète probablement l'histoire de Runway en étroite collaboration avec l'industrie cinématographique, il y en a donc pour tous les goûts.

5. Générez votre vidéo

Une fois que vous avez effectué l'audition et la sélection des voix, c'est juste une question de télécharger un script (ou un clip audio préenregistré) et appuyer sur le bouton Générer.

Le forfait gratuit génère à un rythme plus lent que les forfaits payants, vous devez donc attendre quelques minutes dans une file d'attente avant que votre demande ne soit traitée. L'ensemble du processus prend environ 3 à 4 minutes en fonction de la durée de la vidéo et de la charge du serveur à ce moment-là.

6. Comprendre l’utilisation du crédit

La synthèse vocale utilise 1 crédit pour 50 caractères de texte convertis en parole, et la synchronisation labiale consomme 5 crédits pour 1 seconde d'audio.

La vidéo totale combine les deux coûts, ce qui signifie en fait que ma vidéo de 38 secondes a utilisé environ 250 crédits. Chaque crédit vaut 0,01 USD. Les utilisateurs du forfait standard reçoivent 625 crédits chaque mois pour leur abonnement de 15 $.

Les résultats…

Passez à 3.25 pour regarder la création finale ci-dessous.

Une fois la vidéo générée, vous pouvez prévisualiser les résultats sur le côté droit de la page Web. Les utilisateurs gratuits ont un filigrane attaché à chaque vidéo, mais au moins ce n'est pas trop moche.

Les résultats vidéo réels sont également très bons, même en utilisant une image téléchargée, ce que j'ai trouvé surprenant. Les lèvres bougent avec précision pendant le discours, et il y a même certains mouvements du visage qui correspondent.

L'effet global n'est pas parfait, il y a encore un peu de « vallée étrange » en action, mais c'est très bon pour les besoins généraux des entreprises. Un certain nombre d'options sont disponibles une fois la vidéo créée, notamment le téléchargement, la régénération, l'édition du script et d'autres éléments.

C'est un processus rapide et indolore dans son ensemble, et les résultats sont vraiment de premier ordre, comme on pourrait s'y attendre d'une entreprise avec ce pedigree.