Entdecken Sie das erste Musikvideo, das mit dem unreleasten Sora-Modell von OpenAI erstellt wurde.

OpenAI hat die Tech-Community sowie Fachleute aus Medien und Kunst mit seinem neuen KI-Modell Sora begeistert. Diese innovative Technologie erstellt realistische, hochauflösende Videos von bis zu 60 Sekunden Länge, ist jedoch bislang nicht öffentlich zugänglich. Bis Februar 2024 gab OpenAI bekannt, dass Sora für Tests ausgewählten „Red Teamers“ sowie einer kleinen Gruppe von visuellen Künstlern, Designern und Filmemachern zur Verfügung steht. Ersten Anwendern ist es bereits gelungen, Projekte mit Sora zu erstellen und zu teilen.

Zu diesen Anwendern zählt der Autor und Regisseur Paul Trillo, der einer der ersten war, der von Sora generierte Drittanbieter-Videos präsentierte. Er hat das, was als „erstes offizelles Musikvideo, das mit OpenAI’s Sora erstellt wurde“ gilt, für den Indie-Chillwave-Künstler Washed Out (Ernest Weatherly Greene Jr.) und seine Single „The Hardest Part“ produziert. Das 4-minütige Video zeigt eine Reihe von schnellen, zusammenhängenden Zoom-Aufnahmen durch verschiedene Szenen, die nahtlos zusammengeschnitten sind, um die Illusion eines kontinuierlichen Zooms zu erzeugen.

Auf der Social-Media-Plattform X enthüllte Trillo, dass er die Videoidee bereits vor zehn Jahren ins Leben rief, sie jedoch vorerst beiseitelegte. Er berichtete, dass das finale Video aus 55 Clips, die von Sora generiert wurden, aus insgesamt 700 bearbeitet wurde, die dann in Adobe Premiere zusammengefügt wurden.

In ähnlichen Nachrichten hat Adobe angekündigt, Sora und andere KI-Video-Generierungsmodelle in seine Premiere Pro-Software zu integrieren. Ein Zeitrahmen wurde jedoch nicht festgelegt. Wer Trillos Arbeitsablauf zwischenzeitlich nachahmen möchte, muss AI-Video-Clips mit anderen Tools wie Runway oder Pika erstellen, da Sora noch nicht öffentlich zugänglich ist.

In einem Interview mit der Los Angeles Times zeigte Washed Out Begeisterung für die Integration neuer Technologien in seine Arbeit und äußerte den Wunsch, innovative Techniken zu erkunden. Das Interview erklärte die spezifischen Eingabeaufforderungen, die zur Generierung des Filmmaterials verwendet wurden: Greene betonte die Bedeutung präziser Details zu Bildern, Kamerawinkeln und Charakterbewegungen. So beschrieb Trillo eine Szene mit: „Wir zoomen durch die Blase, sie platzt, und wir zoomen durch den Kaugummi auf ein offenes Fußballfeld“, und erfasste die dynamische und fesselnde Natur des Videos.

Trillo stellte zudem fest, dass er ausschließlich die Text-zu-Video-Funktionen von Sora nutzte und keine woanders generierten Standbilder einfügte, was ein gängiger Ansatz unter Künstlern in der sich entwickelnden AI-Video-Landschaft ist.

Das Auftreten von Sora verdeutlicht das Potenzial von KI in der Medienproduktion und widerspricht Berichten, wonach frühere Demovideos – wie „Air Head“ des kanadischen Studios Shy Kids – stark auf VFX und traditionelle Bearbeitungswerkzeuge wie Rotoscoping in Adobe After Effects angewiesen waren. Darüber hinaus unterstreicht es das anhaltende Interesse von Kreativen, KI-Tools für Storytelling zu nutzen, trotz der Kritik von anderen, die solche Technologien, insbesondere die von OpenAI, als ausbeuterisch empfinden. Bedenken bestehen hinsichtlich der Verwendung früherer Werke von Künstlern für Trainingszwecke ohne deren Zustimmung oder Entlohnung.