探索Apple最新的人工智慧研究如何徹底改變您的iPhone體驗

Apple 引領 AI 革命的前沿

以科技創新聞名的 Apple 再次在人工智慧領域中扮演領導者的角色。最近,這家位於庫比蒂諾的公司通過兩篇開創性論文引入了重大的 AI 研究進展,展示了創建 3D 虛擬角色和優化語言模型推理的新技術。這些發展將帶來身臨其境的視覺體驗,並使複雜的 AI 系統能夠在 iPhone 和 iPad 等消費者設備上無縫運行。

身臨其境的 3D 虛擬角色 HUGS

第一篇論文提出了 HUGS(Human Gaussian Splats),這是一種從短的單眼視頻(僅用一部相機拍攝的視頻)生成動畫 3D 虛擬角色的方法。首席作者 Muhammed Kocabas 解釋道:“我們的方法能在不到 30 分鐘內,處理 50-100 幀視頻,自動將靜態背景與可動的人物角色分離。”

HUGS 採用了高效的渲染技術,稱為 3D Gaussian splatting,來表示人類模型和背景場景。該模型最初基於 SMPL 統計人體形狀,但 HUGS 允許調整,捕捉如衣物和頭髮等細微細節。一個新穎的神經變形模組確保通過線性混合綁定實現真實的動畫效果,生成流暢的運動而無任何瑕疵。Kocabas 補充說,HUGS 支援新姿勢合成和從不同角度生成虛擬角色及其環境。

與早期方法相比,HUGS 實現了高達 100 倍的訓練和渲染速度。在一標準遊戲 GPU 上僅經過 30 分鐘的優化,生成的結果已達到照片級的真實效果,超越了像 Vid2Avatar 和 NeuMan 等最新技術在 3D 重建質量上的表現。

這項創新技術允許用戶僅透過一段視頻便可將數位虛擬角色置入新場景,每秒更新影像達 60 次,提供流暢而真實的體驗。想像一下,您可以直接從 iPhone 創建動態的 3D 場景!

提升 AI 推理效率

在第二篇論文中,Apple 研究人員針對在內存有限的設備上部署大型語言模型(LLM)的關鍵挑戰提出了解決方案。像 GPT-4 這樣的高級語言模型擁有數百億個參數,使其在消費者硬件上運行的成本相當高。

所提系統在推理過程中最小化從閃存到稀缺 DRAM 的數據傳輸。首席作者 Keivan Alizadeh 解釋道:“我們構建了一個推理成本模型,以便與閃存的行為對齊,使我們能夠優化數據傳輸,並以更大的數據塊進行讀取。”

該研究引入了兩項主要技術:“窗口化”技術重用最近的激活,“行列打包”則通過將行和列組織在一起來處理更大的數據塊。在 Apple M1 Max CPU 上,這些方法使推理延遲提高了 4-5 倍,同時 GPU 性能提升了 20-25 倍。

聯合作者 Mehrdad Farajtabar 表示:“這一突破對於在資源有限的環境中部署高級 LLM 至關重要,提升了它們的可及性。”這些優化使得複雜的 AI 助手和聊天機器人能夠在 iPhone、iPad 及其他移動設備上流暢運行。

Apple 的策略願景

這些創新突顯了 Apple 對 AI 研究和應用的承諾。然而,專家們敦促應謹慎對待,強調負責任地將技術整合到消費者產品中,特別是在隱私和潛在濫用方面。

隨著 Apple 繼續整合這些進展,它不僅在提升其設備,還預見了未來對 AI 驅動服務的需求。為內存有限的設備優化複雜 AI 模型,可能為以前被認為不可行的應用鋪平道路。

通過發布這項研究,Apple 還為更廣泛的 AI 社群做出貢獻,鼓勵該領域的進一步發展。這一舉措反映了 Apple 作為科技領導者的自信,以及其推進創新邊界的決心。

如果謹慎對待,Apple 的最新進展將可能重新定義人工智慧的領域。照片級數位虛擬角色和強大的 AI 助手在可攜式設備上,曾被認為遙不可及,如今因 Apple 的先驅工作而逼近現實。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles