Pika führt KI-gestützte Lippen-Synchronisation ein und entfacht Konkurrenz in der Videoindustrie.

OpenAI fasziniert weiterhin das Publikum mit seinem KI-Video-Generierungsmodell Sora, das eindrucksvolle Demobeispiele präsentiert. Der öffentliche Zugang bleibt jedoch begrenzt. In der Zwischenzeit hat der Wettbewerber Pika ein spannendes neues Feature für seine Abonnenten vorgestellt: Lip Sync.

Dieses innovative Add-on ermöglicht es Nutzern, gesprochene Dialoge zu ihren Videos hinzuzufügen, indem sie KI-generierte Stimmen von ElevenLabs, einem separaten Generative-Audio-Start-up, verwenden. Es synchronisiert auch die Mundbewegungen mit dem Dialog, was den Realismus der sprechenden Charaktere erhöht.

Die Pika Lip Sync-Funktion bietet sowohl eine Text-zu-Audio-Konvertierung als auch die Möglichkeit, Audiospuren hochzuladen. Nutzer können Dialoge für ihre von Pika generierten KI-Charaktere eintippen oder aufnehmen und dabei verschiedene Sprachstile anpassen.

Aktuell befindet sich Lip Sync im „Early Access“ und ist exklusiv für Pika Pro-Nutzer (58 $ pro Monat, jährlich in Höhe von 696 $ abgerechnet) sowie für Mitglieder des einladungsbasierten "Super Collaborators" Programms über Discord verfügbar.

Hürden im Bereich KI-gestützter Filmproduktion überwinden

Obwohl Pikas KI-generierte Videos möglicherweise nicht den gleichen Realismus wie OpenAIs Sora oder das Konkurrenzprodukt Runway erreichen, stellt die Lip Sync-Funktion einen bedeutenden Fortschritt dar. Sie bietet eine Lösung für eine der verbleibenden Herausforderungen beim Einsatz von KI in langen narrativen Filmen, da den meisten führenden KI-Video-Generatoren eine ähnliche native Funktion fehlt.

Traditionell mussten Nutzer auf umständliche Drittanbieter-Tools und arbeitsintensive Nachbearbeitungsmethoden zurückgreifen, um Dialoge hinzuzufügen und Lippenbewegungen zu synchronisieren, was zu einem niedrig-budgetären Erscheinungsbild führte.

In ähnlichen Nachrichten hat Runway sein Multi Motion Brush-Feature aktualisiert, das ursprünglich letzten Monat vorgestellt wurde. Dieses Werkzeug erlaubt es Nutzern, bis zu fünf unabhängige Bewegungsrichtungen auf verschiedene Objekte in Videos anzuwenden, wie zum Beispiel einen Hund, der nach einem Frisbee springt. Das Update beinhaltet die Regionserkennung, die eine automatische Auswahl von Objekten für die Bewegungserfassung ermöglicht, während manuelle „Mal“-Optionen weiterhin verfügbar sind.

Pika erlaubt es Nutzern ebenfalls, Videoelemente zu bearbeiten und die Leinwand zu erweitern, jedoch fehlt derzeit ein Pinselwerkzeug, was zu weniger präzisen Bewegungssteuerungen im Vergleich zu Runway führt.

Anhaltende Bedenken hinsichtlich der KI-Trainingsdaten

Trotz der Begeisterung über Pikas neues Feature bestehen Bedenken bezüglich der Trainingsdaten, die für das Videomodell verwendet werden. Ed Newton-Rex, CEO der AI-Zertifizierungs-Non-Profit-Organisation Fairly Trained, äußerte diese Bedenken in den sozialen Medien und betonte die Notwendigkeit der Zustimmung von Kreativen und Datenbesitzern während des KI-Trainings.

Während die Unternehmen für KI-Video-Generatoren weiterhin innovativ sind und ihre Angebote verbessern, intensiviert sich der Wettbewerb, was den Nutzern zugutekommt, einige Fachleute in der Filmbranche jedoch besorgt. Besonders Filmemacher Tyler Perry sah sich Rückschlägen gegenüber, nachdem er die Produktion von Sora-generierten Videos beobachtet hatte, und äußerte Bedenken über mögliche Arbeitsplatzverluste aufgrund dieser Technologie.