Nvidia 正在與 Microsoft 強化共同銷售策略，推出一項旨在協助企業和創業公司在 Azure 雲平台上創建自定義 AI 應用的 AI 工廠服務。此服務將通過檢索增強生成（RAG）技術來利用企業數據。
Nvidia 的創始人兼首席執行官黃仁勳表示：「Nvidia 的 AI 工廠服務整合了我們的生成式 AI 技術、LLM 訓練專業知識及廣泛的 AI 工廠能力，建構於 Microsoft Azure 上，使全球企業能夠將自定義模型與 Microsoft 的高端雲服務連接。」
Nvidia 在 Azure 上的 AI 工廠服務主要特點
通過 Nvidia 的 AI 工廠服務，企業將在一個平台上擁有開發自定義、面向企業的生成式 AI 應用所需的所有組件。這項全面服務包括 Nvidia 的 AI 基礎模型、NeMo 框架及訪問 Nvidia DGX 雲超級計算資源。
Nvidia 企業計算副總裁 Manuvir Das 表示：「企業首次可以在 Microsoft Azure 上端到端地獲取所需的完整組件——從硬件到軟件。客戶能夠通過 Azure 無縫執行整個生成 AI 工作流程。」
為了擴展企業選擇，Nvidia 推出了新一系列 Nemotron-3 8B 模型，旨在為醫療、電信和金融等行業的先進聊天和問答應用提供支持。這些多語言模型將通過 Azure AI 模型目錄以及 Hugging Face 和 Nvidia 的 NGC 目錄獲得提供。
除了 Nemotron-3，Nvidia 的其他基礎模型，包括 Llama 2、Stable Diffusion XL 和 Mistral 7b，也將整合至 Azure。
一旦用戶選擇了他們的首選模型，便可以通過 Azure 市場使用 Nvidia DGX Cloud 和 AI Enterprise 軟件進行自定義應用的訓練和部署。DGX Cloud 提供可擴展的實例，利用最多上千個 NVIDIA Tensor Core GPU 進行訓練，並配備 AI Enterprise 工具包以簡化 LLM 定制過程。
與 Oracle 的合作及早期採用情況
Nvidia 亦與 Oracle 合作，使符合條件的企業能夠在 Oracle Cloud 基礎設施（OCI）上購買用於模型訓練的工具。目前，首批早期使用 Azure 工廠服務的客戶包括 SAP、Amdocs 和 Getty Images，這些公司各自開發針對不同用例的定制 AI 應用。
擴大 Nvidia 與 Microsoft 的合作關係
除了生成 AI 服務外，Microsoft 還宣布推出新的 NC H100 v5 虛擬機，這些創新雲實例配備雙 PCIe 基於 H100 的 GPU，透過 Nvidia NVLink 連接，提供近四萬兆浮點運算能力和 188GB 的高速 HBM3 記憶體。
Nvidia H100 NVL GPU 的設計使其在 GPT-3 175B 測試中比以往模型達到高達 12 倍的性能提升，十分適合用於推論與主流訓練任務。此外，Nvidia 計劃明年將新款 H200 Tensor Core GPU 整合至 Azure，該 GPU 提供 141GB HBM3e 記憶體及 4.8 TB/s 的高峰內存帶寬，專為龐大的 AI 工作負載而設計。
Windows 設備上的 AI 更新
為了增強 Windows 設備上的 LLM 操作，Nvidia 亦揭示了一些更新，包括支持 Mistral 7B 和 Nemotron-3 8B 等新大型語言模型的 TensorRT LLM for Windows。這項更新預計本月底推出，承諾提供五倍速度的推論性能，使配備 GeForce RTX 30 和 40 系列 GPU 的桌面及筆記型電腦能夠更好地執行模型，且需至少 8GB RAM。
此外，TensorRT-LLM 將通過新的包裝器與 OpenAI 的 Chat API 兼容，使多個開發者項目能夠在配備 RTX 的 Windows 11 PC 上本地運行，消除對雲端的依賴。
排行榜
