生成AIの優れた自然言語処理能力は、大規模言語モデル（LLM）によって推進され、AIを公衆の注目の的にしています。これらの広範なモデルは、私たちの時代における最も重要な進歩の一つとなっています。皮肉なことに、AIの進化は多くのオープンソースLLMを生み出し、それが企業向けの数千のドメイン特化型LLMの開発につながっています。
LLMを基盤としたAIサービスは、ルーチンタスクの自動化や生産性の向上に寄与します。しかし、AIが複雑な課題に取り組み、組織の中核ミッションを強化し、消費者体験を個別化するには、LLMが専門化する必要があります。業界の多くの専門家は、ほとんどの組織における人工知能の大部分が、既存の企業ITやエッジ、クライアントインフラを操作するアジャイルな専門モデルによって提供されると合意しています。
LLMは競争優位を提供するか？
数千億のパラメータを持つLLMは、データセンター規模のクラスターを使用してウェブスケールのデータでトレーニングされており、クラウドプロバイダーやAIサービス企業によって展開される汎用的なAIプラットフォームを実現しています。これらのモデルの開発には数億ドルの費用がかかり、運用コストは数千万ドルに達します。大型モデルは、一般的な質問に対する汎用的で非専有的な結果を生成するのに優れていますが、ほとんどの組織がAPI経由で類似した生成AIサービスを使用するため、主な利点は競争に遅れずについていくことです。
独自の製品やサービスを創出し、顧客エンゲージメントを向上させ、コスト効率を高めるには、ドメイン特化したプライベートデータでトレーニングされた正確で迅速なモデルが必要です。これにより、エラーやバイアスを防ぎ、評判の損失を回避できます。使用ケースの複雑さはモデルの精度に直接関連しており、専有データの取り込みが重要です。大規模モデルは、ミッションクリティカルな企業アプリケーションに対しては手間がかかり効率が悪いため、小型でアジャイルなモデルの方が好ましい選択肢です。
幸いなことに、高精度を維持しつつ、大型モデルよりも10倍から100倍小型のオープンソースの事前トレーニング済み小型LLMが存在します。これらの小型モデルは、プライベートデータを用いたリトリーバル拡張生成（RAG）メソッドで迅速にファインチューニングでき、特定のビジネスニーズに応じて信頼性のある専門モデルを作成することができます。企業はランチタイムにモデルを開発し、既存のサーバーに展開することができ、大型モデルに伴う長くコストのかかるプロセスを回避できます。このアプローチは、アプリケーション全体にAIをスケールするための持続可能かつ経済的な方法です。
大規模基盤AIモデルとサービス：
- 利点：驚異的な汎用性、魅力的な結果、APIを通じた迅速な統合、ウェブスケールのデータセット。
- 欠点：複雑な管理、高いトレーニングと維持コスト、幻覚やバイアスの可能性、セキュリティの懸念、不明なデータソース。
小型言語モデルエコシステム：
- 利点：小型で高精度、データプライバシーとセキュリティの向上、説明可能性、経済的なファインチューニングと展開。
- 欠点：ファインチューニングに少数のデータが必要、ソースデータのインデックス化が必要、タスクの範囲が制限される。
企業が自社のLLMを管理する理由
ほとんどの組織は、ルーチンタスクにAPIサービスを活用し、ビジネス特有のケースにはプライベートAIモデルを採用します。自社で管理するAIモデルを決定する際には、以下の要素が重要です：
- データプライバシー：敏感情報を保護し、データガバナンス規制に準拠しつつ競争優位を確保。
- 精度：ミッションクリティカルなアプリケーションの信頼性を保障し、評判を守る。
- 説明可能性：重要な意思決定を行う前に結果をデータソースにさかのぼって確認し、一貫性を監視。
- コスト：既存のITインフラ上で自営の持続的モデルを運用する方が通常は安価。
- 接近性：モデルをアプリケーションと共に配置することで迅速な人間の応答を保証。
- 統合：既存のビジネスロジックおよびIT意思決定システム内でのシームレスな展開。
要件とモデルオプションの理解
AIは、性能を競い合う孤立したアプリケーションと誤解されがちですが、私たちはAIが最終的にすべてのアプリケーションに統合され、既存のITインフラを利用するようになると信じています。データ、使用ケースの要件、AIモデルの選択肢を理解することは、成功した実装に不可欠です。一部の企業は大量のデータや独自のビジネスタスクを持つため、自社の大規模言語モデルを開発したいと考えるかもしれませんが、大多数はカスタマーサービスやオーダープロセッシングといったタスクのためにアジャイルなオープンソースモデルから利益を得るでしょう。
AIの普及には、アプリケーションの要求に応じた加速されたコンピューティングが必要です。モデルはオープンソースエコシステムから取得され、プライベートデータでファインチューニングされたり、商業ソフトウェアと統合されたりします。本番準備が整ったAIの使用ケースの基盤を作るには、LLMそのものの他に、データ取り込み、ストレージ、処理、推論提供、検証、監視などの広範な作業が必要です。したがって、コンピューティングプラットフォームはデータ準備、モデル構築、展開を支える必要があります。
Intelは、最適なコストパフォーマンスを実現するためのエンドツーエンドAIプラットフォームを提供しています。Intel® Gaudi®アクセラレーターは、NvidiaのH100に対して報告されている4倍の性能を持て、5世代Intel® Xeon®一般向けCPUはAI機能を組み込んでおり、小型LLMや他のAIワークロードに対応しています。
- モデル：Hugging Face、GitHub、Gaudi Developer Hubなどのプラットフォームで数千のモデルに自動化されたレシピと最適化。
- ソフトウェア：400以上のAIモデルが業界標準フレームワークで検証されたIntel® Gaudi®ソフトウェアとIntelAIソフトウェアスイート。
- エンタープライズ対応：XeonベースのOEMサーバー上でVMware Private AIとRed Hat OpenShiftを使用して生産に検証されたファインチューニングされたAIモデル。
あなたの生成AIの旅が今、始まります
企業の旅は、コスト削減、顧客体験の向上、従業員満足度の向上に向けた日常業務の効率化など、ビジネスユースケースを特定することから始まります。開発者はオープンソースのLLMまたは特定のユースケースモデルから始め、データ要件を理解し、最適なコストパフォーマンスと使いやすさを実現するための適切なソフトウェアツールを揃えるべきです。
Hugging FaceでIntelのオープンソース生成AIモデルを探索し、あなたの生成AIの旅に出かけましょう。
ランキング
