Découvrez le premier clip musical créé avec le modèle Sora non publié d'OpenAI.

OpenAI a captivé la communauté technologique, ainsi que les professionnels des médias et des arts, avec son nouveau modèle d'IA, Sora. Cette technologie innovante génère des vidéos réalistes en haute résolution d'une durée allant jusqu'à 60 secondes, bien qu'elle ne soit pas encore accessible au public. En février 2024, OpenAI a annoncé que Sora était disponible pour des tests auprès d'un groupe restreint d'artistes visuels, de designers et de cinéastes. Malgré tout, les premiers utilisateurs ont déjà commencé à créer et à partager des projets grâce à Sora.

Parmi eux, le scénariste et réalisateur Paul Trillo a été l'un des premiers à présenter des vidéos générées par Sora. Il a réalisé ce qui est qualifié de « premier clip vidéo officiel conçu avec Sora d'OpenAI » pour l'artiste indie chillwave Washed Out (Ernest Weatherly Greene Jr.) et son single « The Hardest Part ». La vidéo de 4 minutes présente une série de plans zooms rapides interconnectés à travers différentes scènes, habilement assemblés pour créer l'illusion d'un zoom continu.

Sur la plateforme de médias sociaux X, Trillo a révélé qu'il avait initialement eu l'idée de cette vidéo il y a dix ans, mais l'avait mise de côté. Il a partagé que la vidéo finale était composée de 55 extraits générés par Sora sur un total de 700, qui ont ensuite été montés ensemble dans Adobe Premiere.

Dans une annonce connexe, Adobe a prévu d'intégrer Sora et d'autres modèles de génération de vidéos IA dans son logiciel Premiere Pro, bien qu'aucun calendrier n'ait été confirmé. Pour ceux qui souhaitent reproduire le flux de travail de Trillo d'ici là, il leur faudrait créer des clips vidéo IA avec d'autres outils comme Runway ou Pika, car Sora n'est pas encore accessible au public.

Dans une interview avec le Los Angeles Times, Washed Out a exprimé son enthousiasme pour l'incorporation de nouvelles technologies dans son travail, indiquant son désir d'explorer des techniques novatrices. L'interview a détaillé les prompts spécifiques utilisés pour générer les séquences : Greene a souligné l'importance d'inclure des détails précis sur les images, les angles de prise de vue et les mouvements des personnages. Par exemple, Trillo a décrit une scène : « Nous zoomons à travers la bulle, elle éclate, et nous zoomons à travers la gomme à mâcher vers un terrain de football ouvert », capturant la dynamique immersive de la vidéo.

Trillo a également noté qu'il avait exclusivement utilisé les capacités de transformation de texte en vidéo de Sora, choisissant de ne pas incorporer des images fixes générées ailleurs, une approche courante parmi les artistes dans le paysage vidéo IA en évolution.

L'émergence de Sora illustre le potentiel de l'IA dans la création médiatique, contrecarrant les rapports selon lesquels les vidéos de démonstration précédentes, comme « Air Head » du studio canadien Shy Kids, reposaient fortement sur les effets visuels et les outils de montage traditionnels tels que le rotoscoping dans Adobe After Effects. De plus, cela met en lumière l'intérêt continu parmi les créateurs d'exploiter les outils d'IA pour le storytelling, malgré les critiques de certains qui considèrent ces technologies, notamment celles d'OpenAI, comme exploitantes. Des préoccupations se posent concernant l'utilisation des œuvres antérieures des artistes pour la formation sans consentement ni compensation.