Четыре продвинутых больших языковых модели (LLMs) были представлены изображением, на котором, как кажется, изображена скала цвета малахи, но на самом деле это потенциально серьезная опухоль глаза. Моделям было поручено определить ее место расположения, происхождение и потенциальную серьезность.
Модель LLaVA-Med ошибочно определяет злокачественное образование как находящееся во внутренней оболочке щеки, в то время как LLaVA предполагает, что оно расположено в груди. GPT-4V дает расплывчатый ответ и не идентифицирует место опухоли. В отличие от них, PathChat, новая LLM, специализирующаяся на патологий, точно определяет опухоль как исходящую из глаза и отмечает ее потенциальную угрозу для зрения.
Разработанная в лаборатории Махмуда Бригемской женской больницы, PathChat представляет собой значительный шаг вперед в вычислительной патологии, функционируя как консультант для человеческих патологоанатомов в идентификации, оценке и диагностике опухолей и серьезных заболеваний. PathChat значительно превосходит ведущие модели в диагностических вопросах с выбором ответа и обеспечивает клинически актуальные ответы на открытые запросы. Он теперь доступен через эксклюзивную лицензию с компанией Modella AI, расположенной в Бостоне.
“PathChat 2 - это мультимодальная большая языковая модель, которая понимает изображения патологии и клинически актуальный текст, позволяя ей вести содержательные беседы с патологоанатомами”, – объяснил Ричард Чен, соучредитель и главный технический директор Modella.
Сравнительно, PathChat опережает ChatGPT-4, LLaVA и LLaVA-Med. Исследователи адаптировали визуальный кодер для патологии, объединив его с заранее обученной LLM и дообучив его с помощью визуальных языковых подсказок и сессий вопросов и ответов. Вопросы охватывали 54 диагноза в 11 основных патологии и органах.
Каждая оценка использовала две стратегии: одно изображение с десятью вопросами с выбором ответа и одно изображение в сопровождении дополнительного клинического контекста, включая пол, возраст, клиническую историю и рентгенологические находки пациента.
При анализе изображений из рентгеновских снимков, биопсий и других медицинских тестов PathChat достиг 78% точности с данными только изображения и 89,5% точности с дополнительным контекстом. Модель преуспела в обобщении, классификации и аннотировании контента, а также в точных ответах на вопросы, требующие знаний по патологии и биомедицине.
PathChat превзошел ChatGPT-4V, открытый исходный код LLaVA и LLaVA-Med по обоим критериям оценки. С подсказками для только изображений он набрал более 52% лучше, чем LLaVA, и более 63% лучше, чем LLaVA-Med. При наличии клинического контекста он показал результат на 39% лучше, чем LLaVA, и почти на 61% лучше, чем LLaVA-Med. Аналогично, PathChat показал более чем 53% улучшение по сравнению с GPT-4 с учетом только изображений и 27% улучшение с клиническим контекстом.
Фейсал Махмуд, доцент патологии в медицинской школе Гарварда, отметил, что предыдущие модели ИИ в патологии обычно были специфичны для заболеваний или фокусировались на отдельных задачах, не имея гибкости для интерактивного использования патологоанатомами.
“PathChat представляет собой шаг к общей интеллектуальной системе в области патологии, выступая в качестве ИИ-сопроводителя, который может помогать исследователям и патологоанатомам в разнообразных ситуациях," - прокомментировал Махмуд.
Например, в случае изображения с выбором ответа, PathChat успешно идентифицировал аденокарциному легкого на рентгене грудной клетки 63-летнего мужчины с хроническим кашлем и необъяснимой потерей веса. В другом случае с клиническим контекстом он правильно определил опухоль печени как метастаз, предоставив аналитические сведения о возможной связи с меланомой.
Способность модели выполнять производные задачи, такие как дифференциальная диагностика и градация опухолей, несмотря на отсутствие специализированных тренировок по помеченным примерам для этих задач, знаменует собой значительный сдвиг в развитии ИИ в области патологии. Traditionally, model training for these tasks required a vast number of labeled examples.
PathChat может облегчить диагностику с применением ИИ человека в цикле, где начальные оценки уточняются с учетом дальнейшего контекста. Для сложных случаев, таких как раковые заболевания неизвестного первичного источника, или в условиях нехватки ресурсов с ограниченным доступом к экспертам-патологоанатомам, этот подход может оказаться весьма ценным.
В исследованиях PathChat может обобщить данные из обширных наборов изображений и автоматизировать количественную оценку и интерпретацию ключевых морфологических маркеров.
“Потенциальные применения интерактивного мультимодального ИИ-сопроводителя в патологии огромны,” - отметили исследователи. “LLMs и генеративный ИИ готовы революционизировать вычислительную патологию с фокусом на естественном языке и взаимодействии человека.”
Хотя PathChat демонстрирует потенциальные возможности, исследователи акцентируют внимание на таких сложностях, как ошибки галлюцинации, которые можно снизить с помощью обучения с использованием человеческой обратной связи (RLHF). Постоянное обучение с актуальными медицинскими знаниями и терминологией является необходимым, и усиление за счет генерации на основе извлечения (RAG) может помочь поддерживать его базу данных знаний в актуальном состоянии.
Дополнительные улучшения могут включать интеграции с цифровыми просмотровыми устройствами и электронными медицинскими записями, что сделает PathChat еще более полезным для патологоанатомов и исследователей. Махмуд также предположил, что технология может быть расширена на другие области медицинской визуализации и типы данных, такие как геномика и протеомика.
Исследовательская группа планирует собирать обширные отзывы от пользователей, чтобы согласовать эффективность модели с их ожиданиями и улучшить ее ответы. Они также свяжут PathChat с клиническими базами данных, чтобы обеспечить ему доступ к актуальным данным о пациентах для более обоснованного анализа.
“Наша цель - сотрудничать с экспертами-патологоанатомами из различных специальностей для разработки эталонов оценки и всесторонней оценки возможностей PathChat в рамках различных моделей заболеваний и рабочих потоков,” - отметил Махмуд.
Рейтинг
