プロテクトAI、オープンソース取得でLLMセキュリティを強化

AIとMLワークフローのセキュリティ確保: AIの革新を守る

AI（人工知能）とML（機械学習）ワークフローのセキュリティ確保は、さまざまな要素が絡み合った多面的な課題です。シアトルを拠点とするスタートアップ、Protect AIは、この課題に取り組むため、Laiyer AIを買収しました。Laiyer AIは、LLM Guardというオープンソースプロジェクトの主要企業です。取引の詳細は公開されていませんが、この買収により、Protect AIのプラットフォームは大規模言語モデル（LLM）に関連する潜在的なリスクから組織をより守ることが可能になります。

Radar: 包括的なAIセキュリティソリューション

Protect AIのコア商業プラットフォームであるRadarは、AI/MLモデルの可視化、検出、管理機能を提供します。2023年7月の3500万ドルのSiriーズA資金調達に成功した後、同社はAIセキュリティの取り組みをさらに拡大する計画です。Protect AIの社長兼創設者であるDaryan Dehghanpishehは、「私たちは業界にMLSecOpsを採用してもらい、AI関連のリスクとセキュリティの脆弱性を理解し管理できるよう手助けしたい」と述べています。

LLM GuardとLaiyer AIからの強化

Laiyer AIが管理するLLM Guardプロジェクトは、LLMの運用 Governanceを提供しています。このプロジェクトは、プロンプトインジェクション攻撃から保護するための入力制御機能を備えており、これはAI利用において増加している懸念事項です。また、LLM Guardは個人を特定できる情報（PII）の漏洩や有害な言語のリスクを軽減します。出力面では、ユーザーを悪意のあるURLを含むさまざまな脅威から守ります。Dehghanpishehは、LLM Guardをオープンソースとして維持しつつ、企業向けの機能を強化した商業製品「Laiyer AI」の計画を明らかにしました。

さらに、Protect AIはLLM Guardの技術を広範なプラットフォームに統合し、AIモデルの開発と展開のすべての段階で保護を提供します。

オープンソースの経験を基に

Protect AIのオープンソースプロジェクトから商業製品への進化は、MLモデルのセキュリティリスクを特定するModelScanプロジェクトのリーダーシップによって証明されています。この技術は、MLモデルの脆弱性をスキャンするための新たに発表されたGuardian技術の基盤となっています。MLモデルの脆弱性をスキャンすることは、従来のウイルススキャンよりも複雑であり、特定の既知の脆弱性が存在しないためです。Dehghanpishehは、「モデルは自己実行のコードであり、悪意のある実行可能な呼び出しが簡単に埋め込まれ、大きなリスクを引き起こす可能性があります」と説明しています。

包括的なAIセキュリティプラットフォームを目指して

Dehghanpishehは、Protect AIが個別のセキュリティ製品を超えて進化することを想定しています。現状、組織はさまざまなベンダーの技術を使用しているため、Protect AIはRadarプラットフォーム内でツールを統合し、SIEM（セキュリティ情報およびイベント管理）システムなどの既存のセキュリティツールとシームレスに連携することを目指しています。

Radarは、AIモデルのコンポーネントに関する包括的な概要を提供し、ガバナンスとセキュリティにおいて不可欠です。Guardian技術により、Protect AIは展開前に潜在的なリスクを特定可能であり、LLM Guardは使用上のリスクを軽減します。最終的に、Protect AIは、組織が一元的なプラットフォームからすべてのAIセキュリティポリシーを管理できる包括的なエンタープライズAIセキュリティソリューションの提供を目指しています。

「組織全体でAIセキュリティのポリシーが一つになります」とDehghanpishehは結論づけました。