伊隆·馬斯克領導著至少六家創新的公司:Tesla、SpaceX、Starlink、X(前身是Twitter)、Neuralink以及xAI。然而,他的目光並未止步於此。
今天,在X上,馬斯克宣布xAI——以其名為Grok的大型語言模型(LLMs)和可供付費訂閱者使用的聊天機器人聞名——已經在田納西州的孟菲斯超級集群開始訓練,該集群被譽為「全球最強大的AI訓練集群」。
根據當地新聞WREG報導,孟菲斯超級集群位於該市的西南部,為該地區歷史上最大的市場新進入者資本投資。然而,xAI目前尚未與田納西山谷管理局簽訂合同,而這通常是為超過100兆瓦的項目提供電力的必要條件。
擁有Nvidia GPU
馬斯克透露,超級集群擁有10萬個液冷的Nvidia H100圖形處理單元(GPUs),這些單元受到AI開發者,尤其是馬斯克的競爭對手OpenAI的追捧。值得一提的是,該集群在一個單一的遠程直接內存訪問(RDMA)架構上運行,能有效地在計算節點之間轉移數據,減少對中央處理單元(CPU)的負擔。
xAI瞄準2024年的尖端AI
xAI的目標是在超級集群上訓練自己的LLMs。馬斯克在回應中表達了雄心,表示公司計畫在2024年12月之前開發出「在各項指標上都是全球最強大的AI」,孟菲斯超級集群將提供「重大優勢」。
對時間表持懷疑態度
儘管馬斯克在多個項目上取得了輝煌成就,但他也因未能如期完成全自動車輛和太空任務而聞名。因此,對2024年12月新Grok LLM的上市持懷疑態度。然而,如果它能按時推出,將大大強化xAI的競爭優勢。
面對OpenAI、Anthropic、Google、Microsoft和Meta等重量級公司在LLMs和SLMs領域的激烈競爭,xAI必須推出創新且有價值的模型,才能在這場激烈的AI競賽中爭奪用戶和市場份額。
此外,有報導指出Microsoft與OpenAI首席執行官山姆·奧特曼(Sam Altman)合作開發一台代號為Stargate的1000億美元AI訓練超級計算機。考慮到這些發展,xAI的孟菲斯超級集群可能不會長期保持「最強大」的稱號。