蘋果推出全新 AI 助手，具備螢幕識別及語音回應功能

Home AI新聞蘋果推出全新 AI 助手，具備螢幕識別及語音回應功能

蘋果推出 ReALM：革命性的人工智慧系統

在 4 月 2 日，蘋果的研究團隊發表了一篇論文，宣佈成功開發出名為 ReALM（參考解析作為語言建模）的創新人工智慧系統。此系統旨在準確解讀螢幕上呈現的含糊內容及其相關對話和背景，促進與語音助理的自然互動。

ReALM 利用大型語言模型，將理解螢幕上視覺元素的複雜任務簡化為基於語言的查詢。這一轉變顯著提升了其性能，超過現有技術。研究團隊表示：「對於對話式助理來說，理解上下文至關重要，這使得使用者能夠基於螢幕內容提出問題，這是實現真正的語音操作體驗的關鍵。」

提升對話助理的能力

ReALM 的一大亮點是能夠透過分析資訊和空間關係重建螢幕內容，生成文本表示。這一能力對於捕捉介面的視覺布局至關重要。研究人員展示了這種方法與語言模型的結合，在相關任務中超越了 GPT-4。他們指出：「我們在現有系統上取得了顯著改進，處理各類內容參考時，較小的模型提升超過 5%，而在較大的模型中，更是顯著優於 GPT-4。」

實際應用與限制

此項研究突顯了語言模型在內容參考解析等任務中的巨大潛力。然而，大型端對端模型在實施中常面臨回應時間和計算資源的限制。通過這項創新研究，蘋果展現了持續提升 Siri 等產品的對話能力和上下文理解的承諾。然而，研究人員也警告，自動螢幕內容解析仍面臨挑戰，特別是處理複雜視覺數據時，可能需要與計算機視覺和多模態技術整合。

縮小與 AI 競爭者的差距

儘管蘋果在人工智慧領域進入較晚，但最近取得了顯著進展。從整合視覺與語言能力的多模態模型，到 AI 驅動的動畫工具和高效能專業 AI 技術，蘋果的實驗室持續實現技術突破。隨著 Google、Microsoft、Amazon 和 OpenAI 等競爭對手在搜索和辦公軟件等領域發布先進的 AI 產品，蘋果正積極努力迎頭趕上。

歷史上，蘋果的創新方式相對保守，但現在面臨快速演變的 AI 市場。在即將舉行的全球開發者大會中，蘋果預計將推出新的大型語言模型框架、一個名為「AppleGPT」的聊天機器人及其他 AI 功能。CEO 提姆·庫克在財報電話會議中提到：「我們期待在今年晚些時候分享我們在 AI 方面的進展。」儘管行事低調，蘋果在 AI 領域的舉措正吸引行業的注意。

儘管蘋果在競爭中相對滯後帶來挑戰，但其強大的財務狀況、品牌忠誠度、一流工程團隊和無縫產品整合為其翻轉局勢打下了堅實的基礎。

前蘋果設計總監加入OpenAI創始人Altman，開發創新的AI驅動硬體

矽谷巨頭投入數十億，爭奪人工智慧訓練數據資源