RunwayML,作為人工智慧驅動視頻生成的先驅,正式推出其最新模型 Gen-3 Alpha。此模型旨在提升創作過程,讓用戶能從文本、圖片或視頻提示創作出超真實的影片。
Gen-3 Alpha 於幾周前首次揭示,現在已向所有註冊用戶開放。其尖端技術可生成高保真、可控的視頻輸出,適用於廣告等多種應用,這正是 OpenAI 即將推出的 Sora 所引起關注的領域。
然而,Gen-3 Alpha 並不像前代模型 Gen-1 和 Gen-2 那樣免費。用戶需訂閱 RunwayML 的付費方案,月費從每位編輯 12 美元起,按年計算。
Gen-3 Alpha 的期待與前景
在去年的 Gen-1 和 Gen-2 迅速推出後,RunwayML 暫時專注於平台改進,競爭對手如 Stability AI 和 OpenAI 也加大了他們的產品力度。上月,RunwayML 重新回到聚光燈下,推出 Gen-3 Alpha,這是一個在視頻和帶有詳細標題的圖像上訓練的模型。此模型能夠創作出吸引人的視頻片段,具備豐富的轉場效果、精確的元素關鍵幀技術,以及能表達多種動作和情感的角色。
初步樣本展示了在速度、清晰度、一致性和動態表現方面相較於早期模型的顯著進步。RunwayML 與多位研究科學家、工程師及藝術家合作,具體的訓練數據來源暫未公開。
隨著 Gen-3 Alpha 廣泛可用,用戶可藉由升級到付費方案,運用其進行多種創意專案。初期,RunwayML 將推出文本轉視頻模式,讓用戶能利用自然語言提示將概念轉化為引人入勝的視頻。未來的更新預計將推出圖片轉視頻和視頻轉視頻功能,並包含像 Motion Brush、進階相機控制和導演模式等高級工具。
使用 Gen-3 Alpha 生成的視頻長度最大為 10 秒,生成速度會因視頻長度而異。儘管這比許多 AI 視頻模型有所提升,但未填補 OpenAI 的 Sora 承諾的最快一分鐘生成長度的空白,後者尚未上線。
隨著創意社群開始探索 Gen-3 Alpha 的能力,前 Stability AI 首席執行官 Emad Mostaque 已經對比測試了該模型的輸出與 Sora 的表現。
此次發布僅僅是開始。RunwayML 預期將持續開發 Gen-3 Alpha,包括推出用戶的免費版本。公司期望此模型成為一系列的第一款,基於全新的基建構建,專為大規模多模態訓練而設,為創造能夠模擬廣泛現實情境和互動的一般世界模型鋪平道路。