NVIDIAが新しい8B AIモデルを発表:高精度・高効率、RTXワークステーションとの互換性

NVIDIA、Mistral-NeMo-Minitron 8Bを発表:コンパクトな言語AIモデル

2023年8月21日、NVIDIAは優れた精度と計算効率を備えたコンパクトな言語AIモデル「Mistral-NeMo-Minitron 8B」のリリースを発表しました。このモデルは、GPUを活用したデータセンター、クラウドコンピューティング環境、そしてワークステーションでの展開向けに最適化されています。

先月、Mistral AIとのコラボレーションによりオープンソースの「Mistral NeMo 12B」モデルが発表されたことに続き、新たに発表されたMistral-NeMo-Minitron 8Bは80億のパラメータを持ち、NVIDIA RTXグラフィックスカードを搭載したシステム向けに特別に設計されています。NVIDIAは、Mistral NeMo 12Bモデルの幅広さを最適化する「プルーニング」と「知識蒸留」の手法を採用し、その成果は「Compact Language Models via Pruning and Knowledge Distillation」という論文で詳述されています。

プルーニングでは、モデルの精度にほとんど寄与しない重みを排除し、ニューラルネットワークのサイズを効率的に小さくします。蒸留の過程では、研究チームがプルーニングされたモデルを小規模なデータセットで再学習させ、プルーニングによる精度低下を効果的に軽減しました。

性能面では、Mistral-NeMo-Minitron 8Bは、言語理解、常識推論、数学的推論、要約、正確な回答生成といった言語モデルの9つの一般的なベンチマークで顕著な優位性を示しています。この新しいモデルは、さまざまな用途において、高度な言語処理能力を提供することが期待されています。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles