Apple 的 ToolSandbox 揭示了明顯的差距：開源 AI 落後於專有模型

Home AI新聞 Apple 的 ToolSandbox 揭示了明顯的差距：開源 AI 落後於專有模型

蘋果的研究團隊推出了ToolSandbox，一個創新的基準測試，旨在徹底評估人工智慧助手的實際能力。這項研究在最近的arXiv發表中詳細說明，針對現有大規模語言模型（LLMs）使用外部工具的評估方法中的關鍵漏洞。

ToolSandbox引入了三個其他基準常常忽略的重要元素：有狀態的互動、對話技巧和動態評估。首席作者陸嘉瑞表示：「ToolSandbox包括有狀態的工具執行、工具之間的隱式狀態依賴、支持策略對話評估的內建用戶模擬器以及動態評估策略。」

此基準測試旨在準確反映現實場景。例如，它可以評估人工智慧助手是否理解在發送短信之前需要啟用設備的行動服務，這需要推理系統當前的狀態並做出適當的調整。

專有模型優於開源，挑戰依舊存在

在使用ToolSandbox測試多種人工智慧模型時，研究人員發現專有模型和開源模型之間存在顯著的性能差異。這一發現與最近的聲稱相矛盾，暗示開源AI正在迅速趕上專有系統。例如，初創公司Galileo的最近基準表明開源模型取得了進展，而Meta和Mistral則推出了聲稱能與領先的專有系統抗衡的模型。

然而，蘋果的研究顯示，即使是最先進的人工智慧助手在涉及狀態依賴、正規化（將用戶輸入轉換為標準格式的過程）及信息有限的情況下，也面臨困難。作者指出：「我們表明開源和專有模型之間存在顯著的性能差距，ToolSandbox中定義的複雜任務甚至對最具能力的最先進LLMs也提出了挑戰，並提供了工具使用能力的新見解。」

有趣的是，研究顯示在涉及狀態依賴的情境中，較大的模型有時表現未必優於較小的模型。這表明僅僅依賴模型的大小並不能保證其在處理複雜現實任務中的卓越表現。

理解人工智慧性能的複雜性

ToolSandbox的建立可能會顯著影響人工智慧助手的發展和評估。通過提供真實的測試環境，研究人員可以更好地識別並解決當前人工智慧系統的關鍵限制，從而打造出更具能力和可靠性的人工智慧助手。

隨著人工智慧日益融入日常生活，像ToolSandbox這樣的基準將對確保這些系統能夠駕駛複雜和微妙的現實互動至關重要。研究團隊計劃不久後在GitHub上發布ToolSandbox評估框架，鼓勵更廣泛的AI社區對這一重要倡議進行貢獻和增強。

儘管最近在開源AI方面的進展引發了對於民主化尖端工具的熱情，但蘋果的研究強調，創建能夠管理複雜現實任務的人工智慧系統仍面臨相當大的挑戰。隨著該領域的快速發展，像ToolSandbox這樣的嚴謹基準將對區分炒作與現實及引導真正有效的人工智慧助手的發展至關重要。

改善醫生就診體驗：生成人工智慧如何改變病人互動

讓開，Devin：Cosine的精靈奪得AI編碼卓越之冠

Most people like

Keywords AI

29.3K

發現我們具成本效益的LLM解決方案，這是 GPT-4 API 的平價替代品。體驗高品質的語言處理，無需承擔高額費用。非常適合希望提升應用程式的開發者和企業。

其他 Large Language Models (LLMs)

GlobalSeo AI

透過人工智慧驅動的網站翻譯服務，將您的線上形象轉化為93種語言。輕鬆提升用戶體驗，觸及全球受眾。了解我們的先進翻譯技術如何幫助您有效跨越語言障礙，確保您的網站能夠與多元文化和市場產生共鳴。

AI網站翻譯 Translate

AI Model Integration Platform

85.5K

在當今競爭激烈的市場環境中，企業不斷尋求創新的解決方案以提升產品。全新的人工智慧模型整合工具應運而生—這是一個旨在無縫將人工智慧融入產品開發流程的先進平台。透過運用人工智慧的能力，此工具能增強產品特性、優化性能並提升用戶參與度，使您的品牌走在潮流尖端。探索整合人工智慧如何徹底改變您的產品供應，並提升顧客滿意度。

AI 模型整合 AI Art Generator

Hydra - Advanced AI Music Generation from Rightsify

19.9K

探索 AI 音樂生成的世界，前沿科技為您量身打造獨特的器樂音樂和引人入勝的音效。體驗人工智慧如何革新音樂創作，為尋求原創音訊的藝術家、電影製作人和內容創作者提供創新的解決方案。

AI 音樂生成 AI Content Generator

Find AI tools in YBX