蘋果研究團隊推出具“視覺”能力的AI系統，能夠理解螢幕內容

Home 硬體蘋果研究團隊推出具“視覺”能力的AI系統，能夠理解螢幕內容

蘋果研究人員開發了一套名為 ReALM（Reference Resolution As Language Modeling）的創新 AI 系統，旨在提升數位助手對模糊參考和對話上下文的理解，從而實現更自然的互動。此項突破性進展近期已宣佈。

ReALM 利用大型語言模型，將理解螢幕上視覺元素等複雜參考解析任務轉化為語言建模挑戰。根據蘋果研究團隊的說法，這一方法明顯超越了傳統技術，他們指出：「理解上下文與參考對於會話助手至關重要。讓使用者能查詢螢幕內容是實現真正免手操作體驗的一個關鍵步驟。」

ReALM 在參考解析方面的一大進步是能夠使用位置解析重新定位螢幕上的實體，生成保持視覺佈局的文本表示。測試顯示，這種方法在結合專門調整的語言模型後，性能優於 GPT-4。研究者表示：「我們的系統在各種類型的參考任務中顯著提高了表現，較小模型在涉及螢幕參考的任務上實現了超過 5% 的絕對增益，而較大模型的表現則大幅超越 GPT-4。」

這項研究凸顯了專門語言模型在解決參考解析任務中的潛力。在實際應用中，由於延遲或計算限制，部署大型端到端模型可能不太實際。這些發現展示了蘋果持續致力於提升 Siri 等產品的對話能力和上下文理解。

然而，研究人員也警告自動螢幕解析存在其局限性。面對更複雜的視覺參考，如區分多個圖像，可能需要整合電腦視覺與多模態技術。

蘋果在 AI 領域悄然取得顯著進展，儘管在這個快速變化的市場中仍落後於競爭對手。公司的研究實驗室持續在多模態模型、AI 驅動工具及高性能專門 AI 技術方面創新，反映出其在人工智慧領域的雄心。

隨著即將到來的全球開發者大會（WWDC）預定於六月舉行，大眾對蘋果將推出的新大型語言模型框架、「蘋果 GPT」聊天機器人及其他 AI 功能充滿期待，旨在快速適應變化的市場動態。

即將推出的iPhone AI創新：探索新功能與未來趨勢

蘋果研究人員聲稱，ReALM 裝置模型超越 GPT-4，顯著提升 Siri 的智能。

Most people like

SnapEdit.App

3.9M

介紹 SnapEdit.App，一個免費的線上照片編輯工具，利用人工智慧的強大功能，輕鬆去除您圖片中不需要的物體和人物，同時提升整體質量。體驗 SnapEdit 直觀功能所帶來的照片編輯未來，讓您的攝影作品更上一層樓。

照片編輯 Photo & Image Editor

Humata - ChatGPT for all your files

1.2M

Humata 是一款強大的 AI 工具，旨在快速解答與數據相關的問題，簡化您訪問和利用信息的方式。無論您是在分析複雜的數據集還是尋求快速見解，Humata 都能使數據探究變得高效且友好。

檔案分析 AI Document Extraction

Open Data Science

76.5K

加入我們專為數據科學家和人工智慧愛好者設計的活力社區網站。在這裡，您將找到有價值的資源、深入的討論以及支持性的網絡，幫助您在不斷變化的數據科學和人工智慧世界中茁壯成長。與志同道合的人士互動，分享您的知識，並隨時掌握塑造人工智慧和數據分析未來的最新趨勢和技術。

資料科學 AI Course

Balto

15.3K

在當今快速變化的數位環境中，客服代理扮演著提升顧客滿意度的重要角色。然而，面對複雜的問題時，若沒有即時的支持將會頗具挑戰。我們的即時指導平台通過提供上下文相關的即時協助，賦能聯絡中心的代理，確保他們能夠提供準確且及時的回應。透過先進的分析與人工智慧驅動的洞察，該平台提升了代理的表現，優化了顧客互動，最終提高了聯絡中心的整體生產力。立即體驗未來的客服服務！

聯絡中心 AI Customer Service Assistant

Find AI tools in YBX