Llama 3元訓練中的常見失敗：NVIDIA GPU是否影響了性能？

Home 硬體 Llama 3元訓練中的常見失敗：NVIDIA GPU是否影響了性能？

Meta最近發佈了一份全面的研究報告，詳述在訓練擁有4050億參數的Llama 3模型時所面臨的重大挑戰。這一訓練過程在由16,384個Nvidia H100 GPU組成的集群上進行，持續了54天，期間系統經歷了419次意外故障，平均每三小時發生一次。值得注意的是，這些故障中超過一半與GPU及其高帶寬內存（HBM3）相關。

Meta發布的Llama 3.1開源模型引起了廣泛關注，使用者對訓練數據來源、合成數據比例、缺乏專家混合（MoE）架構、後訓練及人類反饋強化學習（RLHF）過程、模型評估方法等各方面充滿好奇。人們對Llama模型的未來充滿期待，特別是即將推出的Llama 4以及代理技術的進展。

在確定大型語言模型（LLM）參數的規模上，Meta考慮了多個因素，如縮放法則、訓練時間和硬體限制。研究指出了一種平衡的方法，以在縮放法則和總訓練代幣的限制下優化推理效率。擁有4050億參數的Llama 3.1成為與GPT-4可媲美的有力競爭者。儘管最終目標尚未實現，但已經取得進展，未來模型有望進一步擴展。

Chinchilla論文強調了訓練數據代幣總數的重要性，聲明在有限的計算能力限制下，模型參數與訓練代幣的最佳比例至關重要。為了提升推理效率，Meta選擇增加訓練代幣的數量和訓練時間，從而促進了開源社區的廣泛應用。

儘管在架構上與Llama 2相似，Llama 3在數據規模和質量上有了顯著提升，數據集從2萬億增長至15萬億個代幣。目前模型開發的趨勢在於通過後訓練增強來改善基準分數，儘管模型評估仍然是一個未解決的研究挑戰。過度擬合的風險令人擔憂，可能會影響相似能力中性能提升的可轉移性。Llama 4模型的訓練已於六月份開始，重點可能在於代理技術。

Llama 3訓練過程中頻繁的故障與其龐大的規模和高度同步有關，單一GPU的故障可能會中斷整個訓練過程。在419次意外故障中，約58.7%與GPU有關，包括各種NVLink問題。考慮到Nvidia的H100 GPU在高 нагрузках下運行，僅有三次事件需要人工介入，而其餘問題均自動解決並不令人驚訝。

為了最大化有效訓練時間，Llama 3團隊實施了自動集群維護，確保超過90%的訓練時間得到有效利用。Meta開發了多種工具和優化策略，如最小化任務啟動和檢查點時間，使用PyTorch內建的NCCL記錄器，並識別性能下降的GPU。NCCLX在故障檢測和定位中發揮了關鍵作用，特別是針對NVLink和RoCE相關問題。

在訓練期間，數千個GPU電力消耗的波動給數據中心的電力需求帶來了重大挑戰。Meta必須確保其數據中心能夠支持Llama 3及未來更大型模型的充足電力供應。環境因素也影響了訓練性能；例如，在Llama 3訓練期間的溫度變化導致GPU的動態電壓和頻率調整，造成吞吐量輕微波動。

在16,384個H100 GPU中，每24小時的平均故障數為7.76，而配備10萬個H100 GPU的xAI Memphis超級計算機可能面臨更高的故障率。隨著AI模型參數數量不斷增加，對計算資源的需求也相應擴大。儘管面臨這些挑戰，Meta展示了其在大型AI訓練中管理故障和提高效率的強大能力，為未來更大規模模型的訓練奠定了堅實基礎。

蘋果智慧在 iOS 18 測試版中閃耀：為什麼蘋果選擇放棄 NVIDIA，改用谷歌的 TPU？

英特爾正式推出第14代核心E系列嵌入式處理器：最新洞察與創新資訊

Most people like

One AI

188.3K

探索一個領先的人工智能平台，提供卓越的生成式人工智能解決方案，實現無縫的產品整合，並提供預訓練模型和量身定制的選項，以滿足您的需求。

生成式人工智慧 Large Language Models (LLMs)

Spok by Forum3

12.6K

釋放 AI 行銷工具的力量，獲取可行見解在當今快速變化的數位環境中，利用 AI 行銷工具的潛力對於希望獲得可行見解的企業來說至關重要。這些創新解決方案利用數據分析和機器學習，幫助行銷人員了解客戶行為、優化活動並推動更好的決策。透過將 AI 融入行銷策略，您可以將原始數據轉化為珍貴的見解，提升整體表現並提高投資回報率。了解 AI 行銷工具如何革新您的方法，並讓您在競爭中保持領先。

人工智慧行銷工具 Large Language Models (LLMs)

AIApply

AlApply: 人工智慧工作搜尋工具

人工智慧求職工具 Resume Builder

Skcript

釋放GenAI顧問服務與尖端企業AI產品的潛力。了解這些創新解決方案如何轉變您的業務流程、提升決策能力，並在當今競爭激烈的環境中推動增長。探索將GenAI的專業知識與先進AI技術相結合的優勢，將您的企業提升至新的高峰。

生成AI諮詢 Other

Find AI tools in YBX