什麼是NIM？探索Nvidia推理微服務如何徹底改變行業中的AI模型部署

Home AI新聞什麼是NIM？探索Nvidia推理微服務如何徹底改變行業中的AI模型部署

Nvidia即將顯著提升生成式AI大型語言模型（LLM）的部署，透過一項開創性的快速推理方法。

在今天的Nvidia GTC大會上，這家科技巨頭介紹了Nvidia推理微服務（NIM），這是一種整合優化推理引擎、行業標準API和AI模型支持的軟體技術，並將其打包進容器中以便於無縫部署。NIM不僅提供現成模型，還使組織能夠整合專有數據，加速檢索增強生成（RAG）的部署。

NIM的推出標誌著生成式AI部署的一個重要進展，構成了Nvidia下一代推理策略的基礎，將影響行業內幾乎所有模型開發者和數據平台。Nvidia已與主要軟體供應商合作，包括SAP、Adobe、Cadence和CrowdStrike，以及各種數據平台提供商，如BOX、Databricks和Snowflake，以支持NIM。

NIM是NVIDIA企業AI軟體套件的一部分，今天在GTC上以5.0版本發布。

Nvidia企業計算副總裁Manuvir Das表示：「Nvidia NIM是開發者的首選軟體包和運行時，讓他們專注於企業應用程序。」

Nvidia NIM是什麼？

NIM的核心是一個充滿微服務的容器。這個容器可以託管各種模型，無論是開放的還是專有的，並可在任何Nvidia GPU上運行，無論是在雲端還是本地機器上。NIM可以部署在支持容器技術的任意地方，包括雲端的Kubernetes、Linux伺服器或無伺服器的功能即服務模型。Nvidia計劃在其新網站ai.nvidia.com上提供無伺服器功能的方式，讓開發者在部署之前即能開始使用NIM。

值得注意的是，NIM並不取代現有的Nvidia模型交付方法。相反，它為Nvidia GPU提供了一個高度優化的模型，以及增強推理所需的基本技術。

在新聞簡報中，生成式AI軟體產品管理副總裁Kari Briski重申了Nvidia作為平台公司的承諾，並強調支持推理的工具，如TensorRT和Triton推理伺服器，依然至關重要。

Briski解釋道：「將這些組件整合到生產環境中以大規模運行生成式AI需要顯著的專業知識，這就是我們為何將它們打包在一起的原因。」

NIM提升企業的RAG能力

NIM的一個關鍵應用在於促進RAG部署模型。

Das指出：「幾乎每位與我們合作的客戶都已實施了多個RAG。挑戰在於從原型過渡到在生產中提供實際的商業價值。」

Nvidia及業界領先的數據供應商預計，NIM將提供可行的解決方案。向量數據庫的能力對於啟用RAG至關重要，幾個供應商，包括Apache Lucene、Datastax和Milvus，都在集成NIM的支持。

透過在NIM部署中整合NVIDIA NeMo Retriever微服務，RAG方法將進一步增強。NeMo Retriever於2023年11月發布，旨在優化RAG應用的數據檢索。

Briski補充道：「當你整合一個加速且經過高品質數據集訓練的檢索器時，其影響是顯著的。」

提升數位雙胞胎技術，利用 Nvidia Omniverse Cloud API：開創工業革命新紀元

Nvidia 推出 Earth-2 數位雙胞胎以預測氣候變遷及提供深入見解

Most people like

Aragon

292.3K

Aragon 利用 AI 技術，將您的自拍照轉化為精緻、專業的頭像，讓您脫穎而出。

AI 頭像生成器 AI Profile Picture Generator

Clearscope

108.2K

透過我們的AI 驅動SEO內容優化平台，提升您的數位存在感，旨在提高網站的可見度和參與度。利用智慧洞察和量身定制的建議，最大化內容潛力，確保您在競爭激烈的線上市場中始終領先。運用尖端技術，實施有效的SEO策略，讓您的流量飛躍增長！

搜索引擎優化 AI SEO Assistant

Leap AI SEO Platform

336.8K

釋放您線上存在的潛力，使用我們專為提升高品質SEO內容而設計的先進AI SEO工具。利用尖端算法分析趨勢並優化您的寫作，增強網站的可見性和互動性。創建引人注目、相關且富含關鍵字的內容，與您的受眾產生共鳴，同時提高在搜尋結果中的排名。迎接內容創作的未來，讓您的可見度飛升！

AI 搜尋引擎優化內容生成 AI Blog Writer

Chirpley

13.4K

探索專為納米型和微型影響者量身打造的自動化影響者市場的力量。與渴望利用小型社交媒體創作者獨特互動和真實性的品牌無縫連接。發掘提升您影響力和擴展在不斷變化的數位行銷環境中觸及範圍的機會。

網紅行銷 AI Advertising Assistant

Find AI tools in YBX