L'adoption rapide de la technologie vidéo basée sur l'IA dans l'industrie du divertissement est en pleine croissance. Cette semaine, le film d'horreur des années 1970, Late Night With the Devil, a suscité beaucoup d'attention grâce à ses titres générés par IA pour des graphismes rétro, provoquant des réactions mitigées du public. De plus, des avancées significatives telles que le lancement de Stable Video 3D, un outil de création d'actifs 3D par IA, ainsi qu'un partenariat stratégique entre la startup Runway et l'agence Media.Monks ont été annoncées. Ce partenariat permettra aux membres de l’équipe de Media.Monks et à ses clients d'accéder directement au logiciel innovant de Runway, qui transforme le texte et les images en vidéos.
Runway a également révélé une collaboration révolutionnaire avec Musixmatch, une entreprise italienne spécialisée dans la technologie musicale, connue pour ses paroles live synchronisées sur des plateformes majeures comme Spotify, Apple Music et Instagram. Cette alliance vise à permettre à plus d'un million de musiciens utilisant Musixmatch d'exploiter le modèle avancé de génération vidéo IA Gen-2 de Runway. Ce modèle Gen-2 inclut des améliorations telles qu'un pinceau Multi Motion et un sélecteur de régions, permettant aux artistes de créer un contenu vidéo dynamique qui accompagne leur musique.
Selon un communiqué de presse de Runway, ce partenariat est conçu pour permettre aux musiciens de générer efficacement des vidéos IA synchronisées avec leurs paroles. Cela facilitera la création de clips lyriques, ces courtes vidéos populaires qui présentent les paroles des chansons en synchronisation avec la musique et des visuels ambiants, les distinguant des vidéos musicales traditionnelles qui montrent souvent l'artiste ou une narration.
Le modèle Gen-2 de Runway intègre une fonctionnalité "Lyrics to Video" qui interprète les paroles des chansons pour simplifier le processus de génération vidéo. Cependant, l'accès à cette fonctionnalité est exclusif au niveau d'abonnement Pro de Musixmatch, à partir de 2,99 $ par mois. Les utilisateurs de Musixmatch Pro n'auront pas besoin d'un compte ou d'un abonnement séparé à Runway ; la fonctionnalité sera intégrée directement dans leur expérience Musixmatch. Une fois les vidéos générées, les artistes peuvent les télécharger ou les partager sur les réseaux sociaux.
Certains artistes, comme le groupe de trip-hop Atlanta Earthgang, utilisent déjà Gen-2 pour créer des vidéos lyriques, montrant le potentiel immédiat de cette collaboration. "Nous sommes ravis d'intégrer les modèles de pointe de Runway directement dans le processus créatif de la communauté artistique dynamique de Musixmatch", a déclaré Cristobal Valenzuela, PDG de Runway. "Ce partenariat permettra aux artistes d'élever leur vision créative à travers la vidéo, forgeant des connexions plus profondes avec leur public à l'échelle mondiale."
Marco Paglia, responsable produit chez Musixmatch, a noté : "L'IA ouvre la voie à une nouvelle vague de créativité. Avec la collaboration entre Musixmatch et Runway, les musiciens disposent désormais d'un partenaire innovant pour la création vidéo, enrichissant leur manière d'exprimer leur art."
Bien que cette collaboration ait généré de l'enthousiasme, un porte-parole de Runway a précisé qu'aucune donnée pour l'entraînement de l'IA ne sera partagée dans le cadre de ce partenariat. Les termes financiers de l'accord n'ont pas été divulgués.
Des musiciens de renom adoptent de plus en plus la technologie IA pour améliorer leurs projets créatifs. Des artistes notables comme A$AP Rocky, Madonna et Ye (anciennement Kanye West) ont intégré avec succès des visuels générés par IA dans leur travail. Récemment, la rappeuse Nicki Minaj a discuté sur X (anciennement Twitter) de son utilisation d'images générées par IA pour promouvoir son album Pink Friday 2.
Runway élargit sa portée en établissant des partenariats avec des fournisseurs de logiciels comme Canva pour intégrer ses outils de génération vidéo par IA, les rendant accessibles à un public plus large. Bien que Runway propose un nombre limité de créations vidéo gratuites, les utilisations ultérieures nécessitent un abonnement mensuel à partir de 12 $. La startup a reçu le soutien d'investisseurs notables, dont Google.
Reconnu comme un leader dans l'espace vidéo IA depuis le lancement de Gen-2 en juin 2023, Runway fait face à une concurrence croissante. La récente démonstration du modèle Sora d'OpenAI, qui a montré des vidéos incroyablement réalistes, a introduit de nouveaux défis. De même, le concurrent Pika a lancé des fonctionnalités comme des capacités de synchronisation labiale alimentées par IA et un modèle de génération d'effets sonores, intensifiant encore la compétition.
Alors que le paysage de la génération vidéo par IA continue d'évoluer, les partenariats stratégiques de Runway seront cruciaux pour maintenir son avantage concurrentiel. L'industrie reste vigilante face aux développements susceptibles de façonner le futur de la création de contenu vidéo.