Pika Lance une Fonctionnalité de Synchronisation Labiale Propulsée par l'IA, Éveillant la Concurrence dans l'Industrie Vidéo

OpenAI continue d'attirer l'attention avec son modèle de génération vidéo par IA, Sora, qui présente de nouveaux exemples impressionnants. Cependant, l'accès au public reste limité. Pendant ce temps, le concurrent Pika a lancé une fonctionnalité captivante pour ses abonnés : Lip Sync.

Cette innovation permet aux utilisateurs d'ajouter des dialogues à leurs vidéos en utilisant des voix générées par IA d'ElevenLabs, une startup audio distincte. Elle synchronise également les mouvements des lèvres avec le dialogue, renforçant le réalisme des personnages parlants.

La fonctionnalité Lip Sync de Pika offre à la fois une conversion texte-en-audio et la possibilité de télécharger des pistes audio. Les utilisateurs peuvent taper ou enregistrer des dialogues pour leurs personnages IA générés par Pika, permettant ainsi de personnaliser les styles de voix. Actuellement, Lip Sync est en "accès anticipé", disponible exclusivement pour les utilisateurs Pro de Pika (58 $ par mois, facturé annuellement à 696 $) et les membres du programme "Super Collaborators" sur invitation uniquement via Discord.

Franchir les Barrières de l'IA dans le Cinéma

Bien que les vidéos générées par IA de Pika n'atteignent pas le même niveau de réalisme que celles d'OpenAI ou de Runway, la fonctionnalité Lip Sync représente un progrès significatif. Elle propose une solution à l'un des derniers défis rencontrés lors de la création de longs métrages narratifs, la plupart des générateurs vidéo IA leaders n'ayant pas de fonctionnalité comparable.

Traditionnellement, les utilisateurs ont dû se fier à des outils tiers complexes et à des méthodes de post-production laborieuses pour ajouter des dialogues et synchroniser les mouvements des lèvres, ce qui donne un aspect à bas budget.

Dans les actualités connexes, Runway a mis à jour sa fonctionnalité Multi Motion Brush, initialement lancée le mois dernier. Cet outil permet aux utilisateurs d'appliquer jusqu'à cinq directions de mouvement indépendantes à différents objets dans les vidéos, comme un chien sautant pour attraper un frisbee. La mise à jour comprend une détection de régions, ce qui facilite la sélection automatique des objets pour l'application du mouvement, tandis que des options de "peinture" manuelle restent disponibles.

Pika permet également aux utilisateurs d'éditer des éléments vidéo et d'élargir la toile, bien qu'elle manque actuellement d'un outil de pinceau, ce qui se traduit par un contrôle des mouvements moins précis qu'avec Runway.

Inquiétudes Persistantes sur les Données d'Entraînement de l'IA

Malgré l’enthousiasme suscité par la nouvelle fonctionnalité de Pika, des questions subsistent concernant les données d'entraînement utilisées pour son modèle vidéo. Ed Newton-Rex, PDG de l'organisation à but non lucratif Fairly Trained, a soulevé ces préoccupations sur les réseaux sociaux, soulignant la nécessité de consentement de la part des créateurs et des propriétaires de données lors de l'entraînement de l'IA.

Alors que les entreprises de génération vidéo IA continuent d'innover et d'améliorer leurs offres, la concurrence s'intensifie, profitant aux utilisateurs tout en inquiètant certains professionnels de l'industrie cinématographique. Notamment, le cinéaste Tyler Perry a été critiqué pour avoir interrompu une expansion de studio de 800 millions de dollars après avoir vu des vidéos générées par Sora, exprimant des inquiétudes quant aux éventuelles pertes d'emplois dues à cette technologie.