LiveBench：一個開放的LLM基準測試，擁有無污染的測試數據和客觀評分

Home AI新聞 LiveBench：一個開放的LLM基準測試，擁有無污染的測試數據和客觀評分

來自Abacus.AI、紐約大學、Nvidia、馬里蘭大學和南加州大學的合作團隊推出了LiveBench，一項突破性的基準測試，旨在克服現有行業標準所面臨的重要限制。LiveBench作為一個通用的評估工具，專為大型語言模型（LLMs）設計，提供無污染的測試數據集，以克服以往基準中因重複使用導致的問題。

什麼是基準測試？

基準測試是一種標準化測試，用於通過一系列任務或指標評估AI模型的性能。它使研究人員和開發者能夠比較結果、追踪進展，並了解不同模型的能力。

LiveBench的亮點在於它涵蓋了AI大師Yann LeCun的貢獻，LeCun是Meta的首席AI科學家，還包括Abacus.AI的研究主管Colin White及其他多位知名研究者。關鍵貢獻者Goldblum強調了改進LLM基準的必要性，指出這一倡議的驅動力在於需要新生成的多樣性問題，以消除測試集污染。

LiveBench的關鍵亮點

LLMs的崛起凸顯了傳統機器學習基準的不足。大多數基準是公開可用的，許多現代LLMs在訓練過程中納入了大量互聯網數據。因此，如果LLM在訓練期間遇到基準問題，其性能可能顯得過於理想，這引發了對這類評估可靠性的擔憂。

LiveBench旨在通過每月釋出來自各種最新數據集、數學競賽、arXiv論文、新聞故事和IMDb電影摘要的更新問題來應對這些不足。目前有960道問題，每道問題均有可驗證的客觀答案，允許準確打分而無需LLM裁判。

任務類別

LiveBench包含18個任務，分為六個類別，利用持續更新的信息來源來增強問題的多樣性和挑戰性。以下是任務類別：

- 數學：來自高中數學競賽和高級AMPS問題的問題。

- 編碼：包括代碼生成和新的代碼補全任務。

- 推理：來自Big-Bench Hard的謊言網絡和位置推理的挑戰場景。

- 語言理解：涉及字謎、錯字刪除和電影摘要解密的任務。

- 指令遵循：四個任務專注於針對近期文章的闡述、總結和故事生成。

- 數據分析：任務重構表格、識別可聯接列和使用最新數據集預測列類型。

模型的評估基於其成功率，應在30%至70%之間，反映任務的難度。

LiveBench LLM排行榜

截至2024年6月12日，LiveBench已評估了多個知名LLM，顯示頂尖模型的準確率均低於60%。例如，OpenAI的GPT-4o以53.79的平均分數領先，GPT-4 Turbo以53.34緊隨其後。

對商業領導者的影響

在AI領域的變化下，商業領導者面臨著挑戰，尤其是在選擇合適的LLM時。基準測試可以提供關於模型性能的保證，但往往無法提供完整的畫面。Goldblum指出，LiveBench簡化了模型比較，減少了對數據污染和人類評估的偏見的擔憂。

與現有基準的比較

LiveBench團隊已經針對已建立的基準，如LMSYS的Chatbot Arena和Arena-Hard進行了分析。雖然LiveBench的趨勢通常與其他基準一致，但具體差異顯示了LLM評估中潛在的偏見。

LiveBench被設計為一個開源工具，任何人都可以使用、貢獻和擴展其功能。White指出，有效的基準對於開發高性能的LLM至關重要，這反過來促進了模型的創新。開發者可以通過GitHub訪問LiveBench的代碼，並在Hugging Face上利用其數據集。

革命性變壓器架構：在不使用GPU的情況下釋放強大的大型語言模型（LLMs）

Luma夢機上市：我們不再需要Sora——全新AI視頻生成器流量激增

Most people like

Zeda.io

57.5K

介紹終極產品團隊超級應用！輕鬆規劃、構建和迭代您的產品，提高效率，推動成功。利用我們專為產品開發設計的創新工具，優化工作流程，實現無縫協作。

產品團隊 AI Product Description Generator

Upheal

100.4K

探索我們專為心理健康專業人士設計的AI驅動平台的力量。此創新工具旨在提升治療實踐，簡化客戶管理，提供深刻的分析，並促進有效的溝通，重新定義從業者支持心理健康的方式。加入這場運用尖端技術轉變心理健康護理的運動，讓專業人士能夠為其客戶提供最佳的成果。

人工智慧 AI Notes Assistant

Kraftful

32.4K

在當今競爭激烈的市場中，了解顧客的意見和偏好對於產品開發和改進至關重要。我們的人工智慧分析工具旨在將產品反饋轉化為可行的洞察，幫助企業高效提升其產品。探索如何利用人工智慧的力量，為理解用戶體驗提供寶貴的清晰度，並將產品的成功推向新高峰。

人工智慧產品管理 AI Analytics Assistant

Latitude

10.6K

一個集中化的數據工作空間，旨在提升數據分析的效率與流暢度。

資料工作區 AI Analytics Assistant

Find AI tools in YBX