コレナ、AIモデルとカスタマイズバリアントのテストのための革新的なプラットフォームを発表

ビジネスにおけるAIモデルの安全な導入を確保するために

企業がAIモデルを従業員や顧客向けに導入する際の最も重要な質問は、どのモデルを選ぶかやその用途に留まるものではありません。むしろ、そのモデルが安全に展開できるタイミングを見極めることが中心となります。

バックエンドのテストはどの程度必要か？どのような種類のテストを実施すべきか？企業は、ChatGPTを顧客サポートに使用した一部の自動車ディーラーの事例のようなトラブルを避けたいと考えています。この事例では、ユーザーがシステムを騙して1ドルで車を販売することに同意させました。

徹底したテストの重要性

AIモデル、特に精緻に調整されたバージョンの徹底したテストは、成功した製品の発売と、企業の評判や財務を危うくするリリースの分かれ目となることがあります。サンフランシスコのスタートアップであるKolenaは、元Amazonのシニアエンジニアリングマネージャーが共同設立した企業で、AI品質プラットフォームを発表しました。このウェブアプリケーションは、AIシステムの迅速かつ正確なテストと検証を支援します。

このプラットフォームは、データ品質監視、モデルテスト、A/Bテスト、および時間をかけたデータドリフトとモデル劣化の監視など、さまざまな機能を備えています。また、デバッグ機能も含まれています。

「この問題を解決することは、企業におけるAIの導入を進展させるために不可欠です」とKolenaの共同設立者兼CEOのモハメッド・エルゲンディは独占インタビューで述べました。エルゲンディは、楽天でのエンジニアリングVPやAmazonのシニアエンジニアリングマネージャーとしての経験を活かし、企業がAI導入で直面する課題に対する洞察を持っています。

KolenaのAI品質プラットフォームの仕組み

Kolenaのソリューションは、ソフトウェア開発者やIT部門が現実世界で安心して信頼性の高い公平なAIシステムを構築できるよう支援します。データセットから詳細なテストケースを迅速に作成することで、プラットフォームはAI/MLモデルの厳密な検証を可能にし、重要なパフォーマンスインサイトを見逃さないようにします。

各Kolenaの顧客は、APIを介して選択したモデルを接続し、テキスト、画像、コード、音声などの機能要件とともに独自のデータセットを提供します。また、偏見や年齢、人種、民族の多様性などの属性を評価することもできます。Kolenaは、数百または数千のインタラクションをシミュレートして望ましくない結果を特定し、それがどのくらいの頻度で、そしてどのような状況で発生するかを把握します。

さらに、Kolenaは、プロバイダーや顧客による更新、再訓練、調整の後にモデルを再テストします。

エルゲンディはこう説明します。「モデルが劣化した箇所を正確に特定するテストを実施します。Kolenaはテストをソフトウェア開発に似た精密な工学的手法に変えます。」

この能力は、企業にとってだけでなく、AIモデルのプロバイダーにとっても貴重です。例えば、エルゲンディは、誤った画像生成で批判を受けたGoogleのGeminiが、リリース前にKolenaのプラットフォームによる厳しいテストの恩恵を受けられた可能性があると指摘しました。

発売前の徹底したテスト

Kolenaは、AI品質プラットフォームの広範なテストを行い、拡張リリースに向けて準備を進めています。過去24ヶ月間、Fortune 500企業やスタートアップを対象にクローズドベータテストを実施し、ユーザーのフィードバックやニーズに基づいてプラットフォームを改善してきました。

「選ばれた顧客グループと密接に作業し、既知の課題と未知の課題を明確にしました」とエルゲンディは説明しました。このグループは、Kolenaのプラットフォームを使い、AIモデルで「数万回」のテストを実施しています。

今後、Kolenaは以下の三つの主要分野で顧客との関係を深めたいと考えています：1. AI基盤モデルの開発者、2. 技術業界の顧客、3. 非技術産業の顧客。例えば、あるパートナーは大規模な言語モデルソリューションを用いてファーストフードのドライブスルー業務の改善を目指し、別のパートナーは自律走行車両の開発をターゲットにしています。

料金とアクセス性

KolenaのAI品質プラットフォームは、ソフトウェア・アズ・ア・サービス（SaaS）モデルで運営されており、企業のAI成長に応じてスケールする三つの価格プランを提供しています。初期のデータ品質評価からモデルの訓練、最終的な導入までをカバーしています。