Runway ML, das in New York City ansässige Unternehmen, ist ein Pionier in der hochwertigen Erstellung von generativen KI-Videos. Nach der Veröffentlichung seines Gen-1-Modells im Februar 2023 und Gen-2 im Juni 2023 sah sich das Unternehmen zunehmender Konkurrenz von anderen realistischen KI-Videogeneratoren ausgesetzt, darunter das kommende Sora-Modell von OpenAI und die kürzlich gestartete Dream Machine von Luma AI.
Als Antwort darauf feiert Runway ein bemerkenswertes Comeback im Bereich generative KI-Videos mit der Ankündigung von Gen-3 Alpha. Dieses Modell wird in einem Blogbeitrag als "das erste einer Serie, die auf einer neuen Infrastruktur für großangelegtes multimodales Training basiert," beschrieben und zielt darauf ab, allgemeine Weltmodelle zu entwickeln, die eine Vielzahl realer Situationen und Interaktionen simulieren können. Beispielvideos, die die Fähigkeiten von Gen-3 Alpha demonstrieren, sind im gesamten Artikel verfügbar.
Gen-3 Alpha ermöglicht es den Nutzern, hochwertige, realistische Videoaufnahmen von 10 Sekunden Dauer mit präzisen emotionalen Ausdrücken und Kamerabewegungen zu erzeugen. Laut einem Sprecher von Runway wird diese erste Version die Erstellung von 5- und 10-Sekunden-Clips anbieten und die Produktionszeiten erheblich verkürzen – 5 Sekunden in 45 Sekunden und 10 Sekunden in 90 Sekunden.
Ein konkreter Veröffentlichungstermin steht noch aus, doch Demovideos werden auf der Webseite von Runway sowie deren X-Account gezeigt. Die Zugänglichkeit für Nutzer bleibt unklar, mit Hinweisen darauf, dass es entweder über die kostenlose Version oder via kostenpflichtiges Abonnement ab 15 USD pro Monat oder 144 USD jährlich verfügbar sein könnte.
In einem kürzlichen Interview bestätigte Anastasis Germanidis, Mitgründer und CTO von Runway, dass Gen-3 Alpha in den kommenden Tagen für zahlende Abonnenten verfügbar sein wird, mit Plänen für eine zukünftige Bereitstellung für Nutzer der kostenlosen Version. Ein Vertreter von Runway fügte hinzu, dass das Modell für Unternehmensnutzer und Teilnehmer am Creative Partners Program zugänglich sein wird.
Germanidis erklärte auf X, dass Gen-3 Alpha bestehende Funktionen wie Text-zu-Video und Bild-zu-Video verbessern und gleichzeitig neue Möglichkeiten einführen wird. Seit der Veröffentlichung von Gen-2 hat Runway festgestellt, dass das Scale von Videodiffusionsmodellen noch nicht die optimale Leistung erreicht hat, was ihnen ermöglicht, leistungsstarke Darstellungen von visuellem Inhalt zu entwickeln.
Diffusion bezieht sich darauf, wie ein KI-Modell lernt, visuelle Konzepte aus pixeligem "Rauschen" zu rekonstruieren, indem es annotierte Bild-/Video- und Textpaare verwendet. Runway behauptet, dass Gen-3 Alpha "gemeinsam auf Videos und Bildern trainiert" wurde, angeleitet von einem Team aus Forschungwissenschaftlern, Ingenieuren und Künstlern. Konkrete Datensätze wurden jedoch nicht veröffentlicht, was einem gängigen Trend unter KI-Mediengeneratoren entspricht.
Kritiker fordern von den Erstellern von KI-Modellen, die ursprünglichen Datenautoren durch Lizenzen zu entschädigen, während einige Urheberrechtsklagen anstreben. Nichtsdestotrotz argumentieren KI-Unternehmen, dass sie öffentliche Daten legal verwenden dürfen.
Auf die Frage nach den Trainingsdaten von Gen-3 Alpha teilte der Sprecher von Runway mit, dass sie sich auf kuratierte interne Datensätze verlassen, die von ihrem hauseigenen Forschungsteam verwaltet werden.
Bemerkenswert ist, dass Runway mit führenden Medien- und Unterhaltungsorganisationen zusammenarbeitet, um maßgeschneiderte Versionen von Gen-3 zu entwickeln, die auf stilistische Konsistenz abzielen und spezifische künstlerische sowie erzählerische Ziele erfüllen. Details zu diesen Kooperationen sind noch nicht bekannt, jedoch haben Filmemacher von preisgekrönten Projekten wie Everything Everywhere All at Once und The People’s Joker bereits die Technologie von Runway genutzt.
Runway hat zudem ein Formular für Organisationen bereitgestellt, die an maßgeschneiderten Versionen von Gen-3 interessiert sind, obwohl keine Preisinformationen für das Training benutzerdefinierter Modelle veröffentlicht wurden. Es ist offensichtlich, dass Runway entschlossen daran arbeitet, seine Position als führendes Unternehmen im schnelllebigen Bereich der generativen KI-Videoerstellung zu behaupten.
Rangliste
