Apple、画期的なAIモデル「MGIE」を発表：指示に基づく画像編集を変革する革新技術

Appleは、「MGIE」（MLLM-Guided Image Editing）という革新的なオープンソースのAIモデルを発表しました。このモデルは、自然言語の指示に基づいて画像を編集するために設計されています。MGIEは、マルチモーダル大規模言語モデル（MLLM）を活用し、ユーザーのコマンドを解釈してピクセル単位での正確な修正を実行します。Photoshopスタイルの調整や、全体的な最適化、局所的な編集など、さまざまな編集タスクにおいて優れた性能を発揮します。

この革新は、Appleとカリフォルニア大学サンタバーバラ校の研究者とのコラボレーションの産物であり、AI研究の最前線である2024年の国際学習表現会議（ICLR）で発表されました。研究論文では、MGIEが自動評価指標と人間の評価を改善しながら、競争力のある推論効率を確保する効果を示しています。

MGIEの仕組み

MGIEは、テキストとビジュアルの両方を理解できるMLLMの力を活用して、指示に基づく画像編集を洗練させています。これまで、MLLMはそのクロスモーダル理解の能力に対して画像編集タスクでは十分に活用されていませんでした。

MGIEは、編集ワークフローに以下の2つの主要な方法でMLLMを統合します：

1. 表現力豊かな指示の生成: MGIEは、ユーザーのプロンプトを簡潔な編集指示に変換します。例えば、「空をもっと青くして」の入力が「空の範囲の彩度を20%上げる」という指示に変換されます。

2. 視覚的イメージの生成: モデルは、希望する編集の潜在表現を作成し、ピクセル単位の調整を導きます。MGIEは、指示生成、視覚表現、編集機能を最適に組み合わせた新しいエンドツーエンドのトレーニングスキームを採用しています。

MGIEの可能性

MGIEは幅広い編集シナリオに対応でき、基本的な色調整から複雑なオブジェクト操作まで対応しています。主な機能は以下の通りです：

- 表現力豊かな指示に基づく編集: 編集の質とユーザー体験を向上させる明瞭な指示を生成。

- Photoshopスタイルの修正: トリミング、リサイズ、回転、背景の置換やオブジェクトのブレンドなどの高度な調整を実行。

- 全体的な画像最適化: 明るさ、コントラスト、シャープネスを調整し、アーティスティックな効果を適用。

- 局所的編集: 顔や衣服など画像内の特定エリアを対象に、サイズ、色、質感などの属性を変更。

MGIEの使い方

MGIEはGitHubでオープンソースプロジェクトとして入手でき、コード、データ、事前トレーニングされたモデルが提供されています。デモノートブックではさまざまな編集タスクを示しており、Hugging Face Spaces上でホストされたオンラインデモでMGIEを試すことができます。

ユーザーフレンドリーな設計で、自然言語のコマンドを入力し、編集された画像と詳細な指示を生成できます。ユーザーはフィードバックを提供し、編集を洗練させたり代替案を要求したりすることができ、他の画像編集機能が必要なアプリケーションとの統合にも適応可能です。

MGIEの重要性

MGIEは指示に基づく画像編集の重要な進展を示しており、AIと人間の創造性を高める上で欠かせない分野です。MLLMを画像編集に活用する可能性を示し、新しいクロスモーダルインタラクションを促進します。

研究的な意義を超えて、MGIEはさまざまなアプリケーションに役立つ実用的なツールであり、ユーザーが個人的またはプロフェッショナルな文脈で画像を作成・最適化する手助けをします。これにより、ユーザーはアイデアを視覚的に表現し、創造的な探求を促進できます。

Appleにとって、MGIEはAI研究開発における同社のリーダーシップを強化し、日常の創造的タスクを向上させる機械学習能力の拡大を示すものです。MGIEは注目すべき成果ですが、専門家はマルチモーダルAIシステムのさらなる進展が必要であることを認識しています。それでも、この分野の急速な進展は、MGIEのような支援AIがすぐに創造性のための重要なツールとなる可能性を示唆しています。