Meta 工程師：2024 年只需兩座核電廠即可支持 AI 推理運算

Meta 生成式 AI 的工程總監 Sergey Edunov 最近提出了一個驚人的估算，認為在未來一年內，僅需兩座新核電廠便可滿足不斷增長的 AI 應用需求。在我主持的矽谷數位工作者論壇小組討論中，Edunov 指出，這樣的能源供應將足以支持人類一年的 AI 需求。針對大家對全球能量滿足生成式 AI 逐漸增加的需求的擔憂，他表示：「我們肯定可以解決這個問題。」

Edunov 承認，他的評估基於粗略計算，但認為這為 AI 「推理」所需的能量提供了合理的估算。推理是 AI 回應查詢或提出建議的過程，發生在模型經過大量訓練之後。

推理能量需求可控

Edunov 將推理和訓練的能量需求進行了區分。他解釋道，推理將佔據大部分處理，因為組織在部署 AI 應用時需處理的計算量相當大。他預測明年 Nvidia 將發布 100 萬至 200 萬顆 H100 GPU，當這些 GPU 完全發揮效能時，能為全球每人每天生成約 100,000 個標記，這是一個相當可觀的數字。

標記是 LLM 處理和生成語言的基本單位，這些計算所需的能量十分可觀，每顆 H100 GPU 大約消耗 700 瓦特。考慮到數據中心和冷卻的額外能量需求，Edunov 將此數字四捨五入至每顆 GPU 約 1 千瓦。最終，他得出結論，只需兩座核電廠便可有效為所有 GPU 提供電力。「在整個人類的規模下，這並不算多，」Edunov 提到，社會可以合理支持每人每日 100,000 個標記的需求。

訓練生成式 AI：數據挑戰

相較之下，Edunov 強調訓練 LLM 面臨的另一挑戰是獲取足夠的數據。他估計，整個公眾可用的互聯網約有 100 兆個標記，但經過清洗和去重後，這個數字可能會大幅降至 10-20 兆個標記。特別是，如果優先考慮高品質數據，可用的標記數量將更加有限。他擔心下一代模型可能需要比以往更多的數據。如果 GPT-4 是基於 20 兆個標記訓練的，那麼下一個模型可能需要約 200 兆個標記，而這樣的數據可能並不易得。

Edunov 提到，研究人員正在探索高效技術，以便在更小的數據集上提升模型的學習能力，並嘗試利用替代數據來源，如多模態輸入（包括視頻）。

小組對數據資源和技術的見解

Edunov 參加了一個名為「生成標記：GenAI 時代的電力」的小組討論，與來自 Nvidia 的生成式 AI 總監 Nik Spirin 及 Google 生成式 AI 解決方案架構負責人 Kevin Tsai 一同發言。Spirin 認同 Edunov 的看法，表示在公共互聯網之外，還存在額外的數據庫，即使獲取受限也不影響其潛力。

Spirin 認為，需要強大的開源基礎模型來減少獨立努力造成的計算冗餘。這種合作方式可以利用預訓練模型，使組織能專注於開發智能的下游應用。

Tsai 提到好幾項新興技術，如檢索增強生成（RAG），可以緩解訓練的負擔，同時提升模型性能。他認為，合作倡議能推動模型在各種應用中更具通用性，這對於可持續性至關重要。

LLM 發展的未來預測

在小組討論結束時，我邀請與會者分享他們對未來兩到三年內 LLM 進展的預測。他們一致認為，儘管 LLM 改進的具體路徑尚不確定，但其所提供的巨大價值已經顯而易見，預計企業的廣泛採用將在兩年內達成。

Edunov 預測，我們將在三到四年內對人工通用智能（AGI）的可行性有清晰的認識。Spirin 引用過去的技術趨勢，表示企業在採用 AI 技術時可能會謹慎行事，但在兩年內很可能會顯現出重要價值。

Tsai 指出，供應鏈挑戰，特別是 Nvidia 對高帶寬記憶體的依賴，是模型增強的一個關鍵瓶頸。然而，他對如 Salesforce 的 Blib-2 項目感到樂觀，該項目旨在創造較小、更高效的模型，有潛力繞過當前的限制。