Nvidia與Amazon Web Services（AWS）在AWS re:Invent大會上強化了他們的戰略夥伴關係，並發布了重大公告。Nvidia新推出的DGX Cloud服務標誌著Grace Hopper GH200超級芯片首次進駐AWS。此舉是Project Ceiba計劃的一部分，旨在建立全球最大的公共雲超級計算平台，提供驚人的64 exaflops人工智慧運算能力。此外，AWS也擴展了其EC2服務，新增四種基於GPU的雲實例類型。
為了幫助企業開發更高階的大型語言模型（LLM），Nvidia還推出了NeMo Retriever技術，這是一種檢索增強生成（RAG）方法，用於將企業數據與生成式AI連結。作為合作超過13年的夥伴，Nvidia於2010年首次將其GPU整合進AWS雲計算實例。在一次簡報中，Nvidia副總裁Ian Buck強調了他們共同推動創新以服務共同客戶的努力，包括Anthropic、Cohere和Stability AI。他表示：“這不僅僅是硬體，也包括軟體。我們常在幕後進行軟體整合的合作。”
DGX Cloud：AWS上的超級計算能力
Nvidia的DGX Cloud最初在三月份的GPU技術大會上宣布，旨在提供先進的AI超級計算能力。雖然這一概念並不全新，但最新版本在AWS上具有獨特性。Buck解釋道：“這個DGX Cloud是獨特的，因為它是首個由NVIDIA Grace Hopper驅動。”Grace Hopper超級芯片融合了ARM計算和GPU，主要用於超級計算機。AWS版本的DGX Cloud採用GH200 NVL-32的架構，將32個GH200超級芯片通過Nvidia的NVLink網絡技術連接在一起，達到最高128 petaflops的AI性能，並配備20TB的高速內存。
Buck強調：“這代表了一個新的機架級GPU架構，迎接生成式AI時代。”
Project Ceiba：全球最大的雲AI超級計算機
Nvidia和AWS也推出了Project Ceiba，旨在創造全球最大的雲AI超級計算機。Project Ceiba將由16,000個Grace Hopper超級芯片組成，利用AWS的彈性網絡適配器（EFA）和Nitro系統來提升擴展性。該超級計算機預期將實現驚人的64 exaflops AI性能，並擁有多達9.5 PB的記憶體。
Buck補充道：“這台超級計算機將運行在AWS基礎設施內，供Nvidia的研究團隊用於推動涉及圖形、大型語言模型、圖像和視頻處理、生成式AI、數字生物學、機器人、自駕車等領域的AI進步。”
NeMo Retriever：有效LLM的關鍵
透過在AWS re:Invent上推出的NeMo Retriever，Nvidia旨在增強企業級聊天機器人的功能。Buck指出，當前大多數常用的LLM依賴公共數據，這限制了其效果。為了獲取最準確及時的信息，企業必須將其LLM與專有數據整合。
Buck表示：“這種整合是企業聊天機器人的聖杯，因為最具價值的數據大多存在於此。將AI與企業數據庫結合，能提高生產力、準確性和可用性。”NeMo Retriever配備現成的企業模型和檢索微服務，旨在無縫整合到現有工作流程中，並具備加速的向量查詢能力以優化性能。
NeMo Retriever的早期客戶包括Dropbox、SAP和ServiceNow，展示了其卓越的準確度和極低延遲的檢索增強生成能力。
排行榜
