ジェンセン・ファン（Jensen Huang）氏は、台湾のコンピュータエキスポ（Computex）で基調講演を行い、Nvidia Inference Microservices（NIM）がAIモデルの展開を数週間から数分に短縮できる方法について説明しました。
ファン氏によれば、世界中の2,800万人の開発者が、Nvidia NIMをダウンロードできるようになり、これはクラウド、データセンター、またはワークステーション全体でデプロイするための最適化されたAIモデルを提供するコンテナ形式です。この技術により、ユーザーは生成AIアプリケーション（コパイロットやチャットボットなど）を迅速に作成でき、生産性を大幅に高めることが可能です。
AIアプリケーションがより複雑になり、テキスト、画像、動画、音声の生成に複数のモデルが必要とされる中で、Nvidia NIMは、既存のアプリケーションへの生成AIの統合を効率化します。この効率により、企業はインフラ投資を最大限に活用できるようになります。例えば、NIM上でMeta Llama 3-8Bモデルを実行することで、追加の計算コストなしで生成AIトークンを最大3倍に増やすことができます。
約200のテクノロジーパートナー（Cadence、Cloudera、DataStaxを含む）がNIMを自社のプラットフォームに統合し、特化型アプリケーション向けの生成AIの展開を加速させています。Hugging FaceもMeta Llama 3モデルを使ったNIMを提供しています。
「すべての企業が生成AIの導入を検討していますが、専任のAI研究チームがあるわけではありません」とファン氏は述べました。「Nvidia NIMは、さまざまなプラットフォームに統合されていることで、すべての組織に生成AIを提供できるようにします。」
NIMは、Nvidia AI Enterpriseソフトウェアプラットフォームを通じてAIアプリケーションのデプロイを支援します。来月からNvidia Developer Programのメンバーは、お好みのインフラで研究とテストのためにNIMを無料で利用できるようになります。
NIMは、医療を含むさまざまな業界に対応する40を超えるマイクロサービスを含んでいます。NIMコンテナはGPU加速推論用に事前構築され、NvidiaのCUDA、Triton Inference Server、TensorRT-LLMソフトウェアを活用できます。開発者はHugging Faceのプラットフォームを通じてNvidia NIMのマイクロサービスにアクセスでき、数クリックでLlama 3モデルの簡単なデプロイが可能です。企業はNIMを活用してテキスト、画像、動画、音声の生成を行い、デジタルヒューマンの作成にも利用できます。さらに、Nvidia BioNeMo NIMマイクロサービスは、研究者が新しいタンパク質構造の革新を促進し、薬剤発見を迅速化するのを支援します。
多くの医療機関が、手術計画や臨床試験の最適化など、様々な用途でNIMを活用しています。Canonical、Red Hat、VMwareのような主要テクノロジー企業も、オープンソースのKServeでNIMをサポートしており、Hippocratic AIやGleanなどのAI企業も生成AI推論のためにNIMを組み込んでいます。アクセンチュアやデロイトなどの大手コンサルティングファームも、企業が迅速にAI戦略を立ち上げる手助けをするためにNIMのスキルを構築しています。
NIMを活用したアプリケーションは、Cisco、Dell Technologiesなどの主要メーカーのNvidia認定システムやAWS、Google Cloudなどのクラウドプラットフォーム上でデプロイできます。FoxconnやLowe’sなどの著名企業も、製造や医療の分野でNIMを活用しています。
Nvidiaは認定システムプログラムを拡大し、プラットフォームがAIおよび加速計算の最適化を確保します。新たな認定には、データセンター向けのSpectrum-X Readyシステムや、エッジコンピューティング用のIGXシステムが含まれ、いずれもエンタープライズグレードのパフォーマンスが確認されています。
NIMを通じて、世界中の企業はデータ処理を効率化し、知能出力を向上させる「AIファクトリー」を設立しています。Nvidia NIMとKServeを組み合わせることで、生成AIのデプロイが簡素化され、CanonicalやNutanixのパートナープラットフォームを通じてアクセス可能になります。
さらに、ファン氏は、Nvidiaの加速計算でトレーニングされた最先端の大規模言語モデルMeta Llama 3が、医療やライフサイエンスにおけるワークフローを大幅に改善していることを強調しました。現在、ai.nvidia.comでNvidia NIM推論マイクロサービスとして提供されているLlama 3は、開発者にさまざまなアプリケーション（手術計画や薬剤発見を含む）で責任をもって革新を行うためのツールを提供します。
ランキング
