スタードッグのカラオケ：企業向けのオンプレミス型ゼロハルシネーションLLMソリューション

スタードッグ：革新的なAIソリューションで企業データ管理をリード

2006年に設立され、バージニア州アーリントンに本社を構えるスタードッグは、企業データ管理とナレッジグラフの最前線に立っています。創業者でCEOのケンダル・クラークは、21世紀のビジネスがデータによって駆動されていることを早くから認識し、デジタル化と迅速なアクセスの重要性を理解しました。

これまでにスタードッグは、4000万ドルの資金を調達し、NASA、国防総省、レイセオン、ボッシュなどの著名なクライアントと協力しています。生成的AIソリューションに対する需要が高まる中、スタードッグのサービスはさまざまな業界でますます重要なものとなっています。

新しいオンプレミスAI「カラオケ」のご紹介

スタードッグは、NvidiaおよびSupermicroとの共同作業により、スタードッグのVoicebox大規模言語モデル（LLM）プラットフォームをホストするための革新的なオンプレミスサーバー「カラオケ」を発表します。このエンタープライズグレードのソリューションは、2023年10月に発表されたLlama 2の特化型バージョンであり、技術的な専門知識がなくてもユーザーが自然言語での問い合わせを行い、スタードッグクラウドから企業の構造化データにアクセスできるようにします。

クラークは次のように説明しています。「特に規制の厳しい業界では、すべてのデータをクラウドに移行することは多くの場合、実現不可能です。カラオケはこのギャップを埋め、クラウド機能をオンプレミスの環境に直接提供することで、企業が生成的AIを活用しつつデータアクセスを維持できるようにします。」

柔軟なサーバー構成

カラオケは、500の同時ユーザーをサポートするコンパクトなマイクロサーバーから、2,304のCPUコアを備えた壮大なエンタープライズモデルまで、さまざまなサイズで提供されます。最大で20,000ユーザーをサポートします。

Voicebox：データサイエンスの翻訳者

Voicebox LLMは、ユーザーの質問をデータサイエンスのクエリ（JavaScript、Python、SQL）に変換する翻訳役を果たします。これにより、スタードッグのナレッジグラフからの正確な情報取得が可能になります。正確性を確保し、誤情報を避けるために、VoiceboxはSafety RAG (Rapid Accuracy Guarantee)デザインを採用しています。クラークはこう述べています。「私たちはLLMによってのみ生成された回答を提示することはありません。ユーザーには、自社のデータから直接得られた回答のみが表示されるため、結果を信頼できるのです。」

Voiceboxは単にデータを要約したり取得したりするのではなく、ユーザーのクエリをデータサイエンティストが作成するプログラム形式に変換します。解釈できないクエリには「その質問には答えられません」と返答します。

透明性とトレーサビリティ

Voiceboxは、取得した情報の出所を示すデジタルフットプリントを提供し、引用やリンクが含まれています。この機能により、ユーザーはデータを信頼することができるようになります。クラークは強調します。「私たちのプラットフォームはトレーサビリティとデータの系譜を保証し、ユーザーが回答を検証し、データの整合性を確保できるようにします。」

価格と提供

スタードッグは、クラウドおよび仮想プライベートクラウド環境で使用可能なVoicebox LLMレイヤーを、ユーザー1人当たり月39ドルで提供する予定です。カラオケボックスの価格はユーザー数やハードウェアの仕様によりますが、3年から5年のリースオプションがあります。

規制業界が生成的AIを活用しつつコンプライアンスを維持するために、スタードッグのカラオケは有効なソリューションです。企業がAIツールを業務に取り入れる中、スタードッグはオンプレミスの生成的AIアプリケーションの安全な展開をリードする準備が整っています。