大規模言語モデル（LLM）の時代において、企業はそれぞれのユニークなアプリケーションに最適なモデルを導入することに熱心です。この作業は一見単純に思えますが、急速に進化する環境の中で、適切なソリューションを特定することは多くの組織にとって大きな課題となっています。
そこで登場するのが「Not Diamond」という、新たに立ち上がったスタートアップです。サンフランシスコを拠点にするNot Diamondは、スマートルーティングを鍵に、大規模言語モデルを扱うための革新的なルーターを開発しました。このルーターは、企業が複数のモデルを同時に利用できるようにし、クエリを最も適切なモデルに効率よく振り分けることで、出力の精度を高め、レイテンシやコストといった重要な要素を最適化します。
共同創設者兼CEOのトマス・ヘルナンド・コフマンは、「私たちの信念は、未来は一つの支配的なモデルや企業ではなく、数多くの基盤モデル、特化型バリエーション、さらにその上にカスタム推論エンジンが多数存在するということです。Not Diamondは、このマルチモデルの未来を支えるために設立され、モデル間のルーティングのための最先端のインフラを提供します」と述べています。
Not Diamondは、まだ初期段階にもかかわらず、すでに注目を集めており、defy.vcやGoogle DeepMindのジェフ・ディーン、Hugging Faceのジュリアン・ショーモンド、OpenAIのザック・カスなど、AIコミュニティの著名な人物から230万ドルの資金を調達しています。
LLMのコストとタスク別パフォーマンスの課題
現在の大規模言語モデルの環境は複雑で、オープンソースのものもプロプライエタリなものも、それぞれに強みと弱みがあります。膨大なコンテキスト長と高いパフォーマンスを持つモデルを選ぶことはしばしば高コストであり、反対に安価な選択肢は重要な機能に欠けたり、高いレイテンシを抱えたりします。日々新たなモデルが登場し、既存のモデルもLlama 3.1のようなオープンソースの進展で大幅なアップデートを行っています。
Not Diamondが企業をサポートする方法
コフマンは、これまでノーコードのAI製品を開発してきた経験から、LLMのジレンマに直面していました。彼は、単一のオプションではなく、特化されたモデルのネットワークにアクセスできるインターフェースを思い描きました。このビジョンは、機械学習の専門家であるツェー・ヤン・トンとジェフリー・アキキと協力し、モデル間のクエリを賢く振り分けるためのインフラを構築する「Not Diamond」の設立へと繋がりました。
「効果的なルーティングインフラは、AIシステムのパフォーマンスを最大化するために不可欠です。小型の特化モデルは特定の領域で大きなモデルを上回ることができ、ルーティングはそれらのモデルに一般モデルのような耐久性を提供します。このアプローチは計算効率に優れるだけでなく、解釈性や安全性の向上にも寄与します」とコフマンは説明します。
Not Diamondの革新的技術
Not Diamondのソリューションの核心には「Metaモデル」とLLMランキングアルゴリズムがあります。このルーターは、受信したクエリを包括的に分析し、コスト効率を最大化しつつレイテンシを最小限に抑えた正確な応答を提供するのに最も適したモデルに自動的に振り分けます。その結果、チームは簡単なクエリのために大きなモデルを呼び出す必要がなくなります。ベンチマーク結果は、Not Diamondのルーターが複数のLLMを活用してLlama 3.1やGPT-4などの個別のモデルを上回る性능を発揮していることを示しています。
この能力を開発するために、Not DiamondはさまざまなタスクにおけるLLMのパフォーマンスを測定するための大量評価データセットを作成し、クエリに最も適合するLLMを特定するためのランキングアルゴリズムをトレーニングしました。
2023年12月、Not Diamondは自社のルーターのオープンソースプレビューを公開し、企業がGPT-3.5やGPT-4の間でクエリをシームレスに管理できるようにしています。さらに、特定のアプリケーション向けにルーターを内部ワークフローに統合したいチームは、内部評価データセットを提供することでカスタムルーターをトレーニングし、モデル選択を最適化できます。このルーターは、パフォーマンスを向上させるためのデータハッシュ化やプロンプト翻訳機能も提供しています。
開発者の採用を加速
まだ初期の段階にあるNot Diamondですが、初期の企業や独立した開発者からの関心が高まっています。具体的なユーザー数は公開されていませんが、1社のお客様であるSamwell AIは、Not Diamondの技術を使用することでLLM出力の品質が10%向上し、推論コストとレイテンシが10%削減されたと報告しています。
業界リーダーからの支援を受けて、同社は進捗を基にさらなる開発を進め、採用率の向上を目指します。コフマンは、Not Diamondには「多数の追加製品機能」が開発中であると強調していますが、詳細は未公開のままです。
スマートクエリルーティングの分野では、Not DiamondはMartianやUnifyなどの著名なスタートアップと競争していますが、コフマンは承認されたルーティング速度、プロンプト最適化、およびプライバシー機能によりNot Diamondが際立っていると主張しています。
ランキング
