Runway lance Gen-3 Alpha : un modèle vidéo AI hyper-réaliste révolutionnaire créant des clips époustouflants de 10 secondes.

Runway ML, basé à New York et souvent appelé Runway, est un pionnier de la création de vidéos génératives AI de haute qualité. Après le lancement de son modèle Gen-1 en février 2023 et de Gen-2 en juin 2023, la société a dû faire face à une concurrence accrue d'autres générateurs de vidéos AI très réalistes, notamment le modèle Sora à venir d'OpenAI et la Dream Machine récemment lancée par Luma AI.

En réponse, Runway fait un retour significatif dans le paysage des vidéos génératives AI avec l'annonce de Gen-3 Alpha. Ce modèle, décrit dans un article de blog comme "le premier d'une série entraînée sur de nouvelles infrastructures pour l'entraînement multimodal à grande échelle," vise à développer des Modèles du Monde Général capables de simuler une vaste gamme de situations et d'interactions du monde réel. Des vidéos d'exemple montrant les capacités de Gen-3 Alpha sont disponibles tout au long de cet article.

Gen-3 Alpha permet aux utilisateurs de générer des clips vidéo de 10 secondes, de haute qualité et réalistes, avec des expressions émotionnelles précises et des mouvements de caméra. Selon un porte-parole de Runway, ce lancement initial proposera des générations de clips de 5 et 10 secondes, accélérant considérablement les temps de production—5 secondes en 45 secondes et 10 secondes en 90 secondes.

Bien qu’aucune date de sortie spécifique n'ait été annoncée, des vidéos de démonstration sont présentées sur le site web de Runway et leur compte X. La disponibilité pour les utilisateurs reste floue, avec des indications selon lesquelles elle pourrait être accessible via leur offre gratuite ou nécessiter un abonnement payant à partir de 15 $ par mois ou 144 $ par an.

Lors d'une récente interview, Anastasis Germanidis, le co-fondateur et CTO de Runway, a confirmé que Gen-3 Alpha serait disponible pour les abonnés payants dans les jours à venir, avec des plans pour un futur déploiement aux utilisateurs de l'offre gratuite. Un représentant de Runway a ajouté que le modèle serait accessible aux utilisateurs Entreprise et ceux du programme Partenaires Créatifs.

Germanidis a déclaré sur X que Gen-3 Alpha améliorerait les fonctionnalités existantes telles que le texte en vidéo et l'image en vidéo, tout en introduisant de nouvelles capacités. Depuis le lancement de Gen-2, Runway a constaté que l'échelle des modèles de diffusion vidéo n'a pas encore atteint sa performance maximale, leur permettant de développer des représentations puissantes du contenu visuel.

La diffusion fait référence à la manière dont un modèle AI apprend à reconstruire des concepts visuels à partir de "bruit" pixélisé, en utilisant des paires d'images/vidéos et de textes annotés. Runway affirme que Gen-3 Alpha est "entraîné conjointement sur des vidéos et des images," guidé par une équipe de scientifiques, d'ingénieurs et d'artistes en recherche. Cependant, ils n'ont pas divulgué de jeux de données spécifiques utilisés, suivant une tendance courante parmi les générateurs de médias AI.

Les critiques appellent les créateurs de modèles AI à indemniser les auteurs de données originales via des licences, certains intentant des poursuites pour violation des droits d'auteur. Néanmoins, les entreprises d'AI soutiennent qu'elles peuvent légalement utiliser toute donnée disponible publiquement.

Lorsque la question de l'entraînement des données de Gen-3 Alpha a été abordée, le porte-parole de Runway a mentionné qu'ils s'appuyaient sur des jeux de données internes soigneusement sélectionnés gérés par leur équipe de recherche interne.

Notamment, Runway collabore avec des organisations de médias et de divertissement de premier plan pour développer des versions personnalisées de Gen-3, visant à une cohérence stylistique et à la satisfaction de certains objectifs artistiques et narratifs. Bien que les détails de ces collaborations restent confidentiels, des cinéastes de projets primés comme Everything Everywhere All at Once et The People’s Joker ont déjà utilisé la technologie de Runway.

Runway a également mis en place un formulaire pour les organisations intéressées par des versions sur mesure de Gen-3, bien que les détails de tarification pour l'entraînement de modèles personnalisés n'aient pas été publiés. Il est évident que Runway s'engage fermement à maintenir sa position de leader dans le secteur en pleine évolution de la création vidéo générative AI.