PathChat 2：新しい医療LLMが病理学者のための腫瘍対話と診断インサイトを強化

高度な大規模言語モデル（LLM）が、マウヴ色の石のように見える画像を提示されましたが、実際には目の深刻な腫瘍の可能性があるものでした。モデルには、その腫瘍の位置、起源、および潜在的な重症度を特定するよう求められました。

LLaVA-Medは腫瘍を頬の内側にある悪性成長と誤認し、LLaVAはそれを乳房にあると指摘しました。GPT-4Vは曖昧な回答を返し、腫瘍の位置を特定できませんでした。一方、PathChatは、腫瘍の起源を正確に目と特定し、視力喪失の可能性も指摘しました。このPathChatは、ブリガム・アンド・ウィメンズ病院のマフムード研究室で開発され、計算病理学の大きな進歩を示しています。人間の病理学者の支援を行い、腫瘍や重大な疾病の特定、評価、診断に役立ちます。

PathChatは、選択式診断問題において他の主要モデルを大きく上回り、オープンエンドの質問に対して臨床的に関連する回答を提供します。現在、ボストンのModella AIとの独占ライセンス契約を通じて利用可能です。

「PathChat 2は、病理画像と臨床的に関連するテキストを理解できるマルチモーダル大規模言語モデルであり、病理学者との意味のある対話を可能にします」と、Modellaの創設CTOリチャード・チェンは説明しました。

PathChatは、ChatGPT-4、LLaVA、LLaVA-Medを上回る性能を発揮しています。研究者たちは病理用のビジョンエンコーダを適応し、事前学習済みのLLMと組み合わせ、視覚言語プロンプトや質疑応答セッションで微調整しました。質問は、11の主要な病理学的実践および臓器にわたる54の診断をカバーしました。

評価では、画像に加え、10の選択肢からなる質問を用いた戦略と、患者の性別、年齢、病歴、放射線学的所見を含む追加の臨床文脈を考慮した戦略の2つが採用されました。X線、バイオプシー、その他の医療検査からの画像を分析した際、PathChatは画像のみのデータで78%の精度を達成し、追加の文脈とともに89.5%の精度を達成しました。モデルはコンテンツの要約、分類、キャプション作成に優れ、病理学や生物医学の知識を要する質問にも正確に答えました。

PathChatは、いずれの評価設定でもChatGPT-4V、オープンソースのLLaVA、LLaVA-Medを上回り、画像のみのプロンプトではLLaVAより52%以上、LLaVA-Medより63%以上優れた成績を収めました。臨床的文脈を提供された際には、LLaVAに対して39%、LLaVA-Medに対してはほぼ61%優れた結果を示しました。同様に、画像のみのプロンプトにおいてGPT-4に対して53%以上、臨床的文脈付きのプロンプトにおいては27%優れた成績を示しました。

ハーバード医科大学の病理学の准教授ファイサル・マフムードは、「以前の病理学におけるAIモデルは特定の疾病に依存するか、特定のタスクに集中しており、病理学者がインタラクティブに使用する柔軟性に欠けていました」と指摘しました。

「PathChatは、さまざまな状況で研究者や病理学者を支援するAIコパイロットとして、一般的な病理知識への一歩を示しています」とマフムードは述べました。

たとえば、画像のみの選択肢シナリオにおいて、PathChatは慢性的な咳と説明できない体重減少を抱える63歳の男性の胸部X線から肺腺癌を成功裏に特定しました。臨床的文脈を考慮した別の例では、肝臓の腫瘍を転移として正しく特定し、メラノーマとの関連性について洞察を提供しました。

このモデルは、特定のタスクのラベル付けされた例を必要とせずに、鑑別診断や腫瘍グレーディングといった下流のタスクを処理できる能力を持つことは、病理学におけるAI開発の大きな転換を示しています。従来、これらのタスクのモデル訓練には大量のラベル付けされたデータが必要でした。

PathChatは、初期評価を追加の文脈で洗練するAI支援の人間主体の診断を促進できる可能性があります。原発不明癌のような複雑なケースや、専門病理学者へのアクセスが限られているリソース不足の状況では、このアプローチが非常に貴重なものとなるでしょう。

研究の分野では、PathChatは広範な画像データセットからの特徴を要約し、重要な形態学的マーカーの定量化と解釈を自動化できるかもしれません。

「病理学におけるインタラクティブでマルチモーダルなAIコパイロットの潜在的な応用は広範です」と研究者たちは述べています。「LLMや生成AIは、自然言語と人間のインタラクションに焦点を当て、計算病理学に革命をもたらす見込みです。」

PathChatは可能性を示していますが、研究者たちは、幻覚エラーなどの課題があることにも言及し、これらは人間のフィードバックからの強化学習（RLHF）によって軽減できる可能性があるとしています。現在の医療知識や用語での継続的な訓練が重要であり、情報リトリーバルによる強化（RAG）が知識データベースを最新に保つのに役立つでしょう。

さらに、デジタルスライドビューアや電子健康記録との統合など、PathChatを病理学者や研究者にとってより有益なものにするための強化が期待されます。マフムードはまた、この技術がゲノミクスやプロテオミクスなど、他の医療イメージ分野やデータタイプにも広がる可能性があると示唆しました。

研究チームは、モデルのパフォーマンスをユーザーの期待に合わせ、回答を改善するために広範な人間のフィードバックを収集する計画です。また、PathChatを臨床データベースにつなぎ、関連する患者情報を取得できるようにすることで、より良い分析を可能にします。

「私たちの目標は、さまざまな専門分野の病理学者と協力し、評価基準を開発し、多様な疾病モデルとワークフロー全体にわたるPathChatの能力を包括的に評価することです」とマフムードは述べました。