Synthesia 推進 AI 視頻技術,推出全新「表情豐富的虛擬形象」,提升互動體驗。

總部位於倫敦的Synthesia是一家專門為企業提供AI影片創作的初創公司,近期推出了“表情豐富的虛擬角色”,提升了其平台的功能。從今天開始,這些AI虛擬角色能夠根據內容的語境調整語調、面部表情和肢體語言,進一步發展了傳統數字虛擬角色的能力。此次發布緊隨微軟最近展示的VASA AI框架,該框架能將人類頭像轉換成具有表情和頭部動作的動畫對話和唱歌影片。然而,與仍屬研究階段的VASA不同,Synthesia的表情豐富虛擬角色則是真正的技術,旨在幫助企業為其觀眾創作更真實的AI影片。

Synthesia在AI影片領域的創新突破

Synthesia成立於2017年,由來自史丹佛和劍橋的AI研究人員及企業家創立,開發出了完整的端到端平台,結合了定制的AI語音和虛擬角色。用戶可以使用預先編寫的腳本或AI生成的內容創作出專業級的AI影片,成功促進了企業的廣泛採用。超過20萬名用戶已創作超過1800萬部影片,儘管之前的虛擬角色無法有效傳達情感——數字虛擬角色無法根據腳本即時修改語調或表情。此次表情豐富虛擬角色的推出,解決了這一局限性。

Synthesia表示,新AI虛擬角色能夠理解文本中的情感和語境,並相應地調整語調和表情。它們可以透過微妙的表情變化、眨眼和眼部運動傳達多種情感。例如,在談論愉快的主題時,虛擬角色可能會微笑;在表達悲傷內容時,則會延緩語速,適當增加停頓時間。

“我們的目標不僅是創建數字畫像,而是引入數字演員,”Synthesia的首席技術官Jon Starck在博客中表示。“這項技術提升了數字虛擬角色的真實感,模糊了虛擬與現實之間的界線。”

表情豐富虛擬角色的技術基礎

為了達到這種細緻的情感理解,Synthesia運用EXPRESS-1深度學習模型,該模型基於大量反映現實口語交流的文本和視頻數據進行訓練。Starck解釋說:“EXPRESS-1能實時預測動作和面部表情,完美契合語音的細微變化和重音,展現出非常自然的表現。”新虛擬角色還改進了多語言間的唇齒同步和語音能力。

表情豐富虛擬角色的影響

儘管具有類人情感的AI虛擬角色可能存在濫用的風險,Synthesia致力於促進正向的企業應用,特別是在溝通與知識共享方面。例如,醫療公司可以利用表情豐富的虛擬角色製作更具同理心的患者影片,而市場營銷團隊則可以表達對新產品的熱情。

為了促進負責任的使用,Synthesia已修訂其平台的內容類型政策,並積極投資於濫用早期檢測及內容驗證技術如C2PA。目前,Synthesia擁有300名員工,與超過55,000家企業合作,其中包括一半的《財富》100強公司。其客戶中包括Zoom,Zoom報告指出,使用Synthesia製作銷售和培訓影片的效率提高了90%。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles