Stability AIが新たに「Smol」モデルを発表：StableLM Zephyr 3Bの紹介

Stability AIの新たな進展：StableLM Zephyr 3Bの発表

Stability AIは、主にその革新的なテキストから画像を生成するAIモデル群で知られていますが、現在その提供範囲を広げています。本日、同社は最新の進展としてStableLM Zephyr 3Bを発表しました。このモデルは、300億のパラメータを持つ大規模言語モデル（LLM）で、テキスト生成、要約、コンテンツのパーソナライズなど、さまざまなチャットアプリケーション向けに設計されています。StableLM Zephyr 3Bは、今年初めに発表されたStableLMテキスト生成モデルの最適化された小型版です。

StableLM Zephyr 3Bのメリット

StableLM Zephyr 3Bの大きな利点はそのサイズです。7億パラメータのStableLMよりも小型なため、幅広いハードウェアでの展開が可能であり、リソース消費を抑えつつ迅速な応答を実現しています。このモデルは、特に質問応答や指導タスクに最適化されています。

Stability AIのCEO、エマド・モスタク氏は、「StableLMは、前モデルに比べてより高品質なデータを用いて長期間訓練を行い、LLaMA v2 7bの2倍のトークンを活用していますが、そのサイズはわずか40%で、基礎的なパフォーマンスは同等です」と述べています。

StableLM Zephyr 3Bの詳細

StableLM Zephyr 3Bはまったく新しいモデルではなく、既存のStableLM 3B-4e1tモデルを基にした拡張版です。その設計は、オープンソースのMITライセンスの下で運用されるHuggingFaceのZephyr 7Bモデルに基づいており、アシスタントとしての利用を目的としています。Zephyrは、StableLMでも活用されている「直接的好み最適化（DPO）」と呼ばれる訓練手法を採用しています。

モスタク氏はDPOについて、以前のモデルで使用されていた強化学習技術に代わるものであり、人間の好みにより適合させるために改良されたと説明しました。DPOは通常、大型モデルに適用されますが、StableLM Zephyrは小型の300億パラメータモデルでこの手法が効果的に使用される初の例の一つです。

Stability AIは、OpenBMB研究グループからのUltraFeedbackデータセット（64,000以上のプロンプトと256,000の応答を含む）とDPOを組み合わせて活用しました。このDPOの活用、モデルのサイズ、最適化された訓練データセットの組み合わせにより、StableLM Zephyr 3Bは優れた性能指標を達成しました。例えば、MT Bench評価では、StableLM Zephyr 3BはMetaのLlama-2-70b-chatやAnthropicのClaude-V1などの大型モデルを上回る成績を収めました。

モデルのポートフォリオ拡張中

StableLM Zephyr 3Bは、Stability AIが継続的に能力を向上させようとする中で発表されるモデル群の一部です。8月にはアプリケーションコード開発向けのStableCodeを、9月にはテキストからオーディオを生成するStable Audioをリリースしました。11月には、Stability AIのビデオ生成分野への進出を示すStable Video Diffusionのプレビューも行われました。

このようにモデルの多様化が進む一方で、Stability AIはテキストから画像生成の分野へのコミットメントを維持しています。最近、同社はフラッグシップモデルであるSDXLテキストから画像への安定拡散モデルの高速版、SDXL Turboを発表しました。

モスタク氏は、Stability AIからの革新はまだまだ続くと強調します。「私たちは、特定のデータに合わせて調整された小型で優れたオープンモデルが、大型の汎用モデルを上回ると確信しています。新しいStableLMモデルの完全なリリースを通じて、生成言語モデルのさらなる民主化を進めていくことを楽しみにしています。」