Stability AI élargit son offre de modèles d'IA générative avec le lancement de Stable Video 3D (SV3D). Comme son nom l'indique, SV3D est un outil vidéo d'IA générative conçu pour créer des vidéos 3D. Basé sur la technologie Stable Video, qui permet aux utilisateurs de créer de courtes vidéos à partir d'images ou de textes, SV3D améliore les capacités vidéo pour des synthèses de nouveaux angles et la génération 3D, apportant des améliorations substantielles par rapport au modèle Stable Video Diffusion précédent.
Avec SV3D, Stability AI ajoute une profondeur significative à sa technologie de génération vidéo, permettant la création et la transformation de maillages 3D à partir d'une seule image d'entrée. Ce modèle est désormais disponible à des fins commerciales avec un abonnement Professional Membership de Stability AI, au prix de 20 $ par mois pour les créateurs et développeurs gagnant moins d'un million de dollars par an. Pour des usages non commerciaux, les utilisateurs peuvent télécharger les poids du modèle sur Hugging Face.
Voici une rapide démonstration vidéo que j'ai générée. Bien qu'il puisse y avoir de légères distortions, les formes des objets dans la vidéo restent cohérentes et stables pendant la rotation de la caméra.
Cas d'Utilisation Cibles : Création de Jeux et E-Commerce
« En adaptant notre modèle Stable Video Diffusion pour la génération d'images en vidéos avec une conditionnement de chemin de caméra, Stable Video 3D génère des vidéos multi-vues d'un objet », a noté l'entreprise dans un article de blog à propos du nouveau modèle.
« Stable Video 3D est particulièrement précieux pour la génération d'actifs 3D dans le secteur du jeu », a déclaré Varun Jampani, chercheur principal chez Stability AI. « Il produit également des vidéos orbitales à 360 degrés qui améliorent l'expérience de shopping immersive en e-commerce. »
De Stable Zero123 à SV3D
Stability AI est réputé pour ses modèles d'IA générative d'images à partir de textes Stable Diffusion, notamment SDXL et Stable Diffusion 3.0, ce dernier étant actuellement en preview. Le modèle open-source Stable Diffusion 1.5 soutient de nombreuses plateformes de génération d'images et de vidéos, telles que Runway et Leonardo AI. En décembre 2023, Stability AI a lancé le modèle Stable Zero123, introduisant de nouvelles capacités pour la création d'images 3D. Emad Mostaque, fondateur et PDG de Stability AI, a déclaré que ce modèle était le premier d'une série axée sur les technologies 3D.
SV3D adopte une approche différente pour la génération 3D par rapport à Stable Zero123. « Stable Video 3D est à la fois un successeur et une amélioration de notre ancien modèle, Stable Zero123 », a expliqué Jampani. « Ce nouveau modèle utilise un réseau de synthèse de nouvelles vues qui génère plusieurs images de nouvelles vues à partir d'une seule entrée. »
Contrairement à Stable Zero123, qui repose sur Stable Diffusion pour produire une image à la fois, SV3D exploite les modèles Stable Video Diffusion pour produire plusieurs nouvelles vues simultanément, offrant une qualité supérieure et une génération de maillages 3D plus efficace à partir d'une seule image.
Vues Cohérentes sous Tous les Angles
Un article de recherche de Stability AI traite des techniques pour générer des visuels 3D à partir d'une seule image grâce à la diffusion vidéo latente. « Les avancées récentes en génération 3D adaptent des modèles génératifs 2D pour la synthèse de nouvelles vues (NVS) et l'optimisation 3D », indique le rapport. Cependant, de nombreuses méthodes existantes rencontrent des difficultés en raison de perspectives limitées et de résultats incohérents.
La principale force de SV3D réside dans sa capacité à fournir des images multi-vues cohérentes d'un objet, offrant des perspectives cohérentes sous différents angles. L'article de recherche souligne cette avancée, en affirmant : « Contrairement aux approches antérieures qui luttent avec des vues restreintes et des incohérences, Stable Video 3D offre des perspectives cohérentes sous tous les angles avec une généralisation efficace. »
En plus d'améliorer la synthèse de vues, SV3D vise à optimiser les maillages 3D. Sa cohérence multi-vues permet une génération de maillages 3D de haute qualité directement à partir des sorties produites. « Stable Video 3D utilise sa cohérence multi-vues pour optimiser les Champs de Radiance Neuraux 3D (NeRF) et les représentations de maillage, améliorant significativement la qualité des maillages 3D générés », a déclaré Stability AI dans son annonce.
Deux Variantes : SV3Du et SV3Dp
SV3D est disponible en deux variantes, chacune adaptée à des cas d'utilisation distincts. SV3Du génère des vidéos orbitales à partir d'entrées d'images uniques sans nécessiter de conditionnement de caméra. En revanche, SV3Dp prend en charge à la fois les images uniques et les vues orbitales, permettant aux utilisateurs de créer des vidéos 3D le long de chemins de caméra spécifiés.
Classement
