Cuatro modelos avanzados de lenguaje de gran escala (LLMs) fueron presentados con una imagen de lo que parece ser una roca color malva, pero que en realidad es un tumor ocular potencialmente serio. Los modelos debían identificar su ubicación, origen y posible gravedad.
LLaVA-Med identificó incorrectamente el crecimiento maligno como si estuviera en el revestimiento interno de la mejilla, mientras que LLaVA sugirió que se encontraba en el seno. GPT-4V ofreció una respuesta vaga y no pudo identificar la ubicación del tumor. En cambio, PathChat, un nuevo LLM específico para patología, identificó con precisión el tumor como originario del ojo y destacó su potencial para causar pérdida de visión.
Desarrollado en el Laboratorio Mahmood del Hospital Brigham y Women’s, PathChat representa un avance significativo en la patología computacional, funcionando como un consultor para patólogos humanos en la identificación, evaluación y diagnóstico de tumores y condiciones graves.
PathChat supera significativamente a los modelos líderes en preguntas de diagnóstico de opción múltiple y ofrece respuestas clínicamente relevantes a consultas abiertas. Ahora está disponible a través de una licencia exclusiva con Modella AI, con sede en Boston.
“PathChat 2 es un modelo de lenguaje multimodal que comprende imágenes de patología y texto clínicamente relevante, permitiéndole entablar conversaciones significativas con patólogos,” explicó Richard Chen, CTO fundador de Modella.
En comparación, PathChat supera a ChatGPT-4, LLaVA y LLaVA-Med. Los investigadores adaptaron un codificador de visión para patología, combinándolo con un LLM preentrenado y ajustándolo con indicaciones de lenguaje visual y sesiones de preguntas y respuestas. Las preguntas cubrieron 54 diagnósticos en 11 prácticas y órganos de patología importantes.
Cada evaluación utilizó dos estrategias: una imagen combinada con diez preguntas de opción múltiple y una imagen acompañada de contexto clínico adicional, incluyendo sexo, edad, historial clínico y hallazgos radiológicos.
Al analizar imágenes de radiografías, biopsias y otras pruebas médicas, PathChat logró un 78 % de precisión con solo datos de imágenes y un 89,5 % con contexto adicional. El modelo destacó en resumir, clasificar y describir contenido mientras respondía con precisión preguntas que requerían conocimientos de patología y biomedicina.
PathChat superó a ChatGPT-4V, LLaVA de código abierto y LLaVA-Med en ambos escenarios de evaluación. Con indicaciones solo de imágenes, obtuvo más del 52 % de puntuación superior a LLaVA y más del 63 % a LLaVA-Med. Cuando se proporcionó contexto clínico, tuvo un rendimiento un 39 % mejor que LLaVA y casi un 61 % mejor que LLaVA-Med. Asimismo, PathChat mostró más del 53 % de mejora sobre GPT-4 con indicaciones solo de imágenes y un 27 % de mejora con indicaciones contextualizadas clínicamente.
Faisal Mahmood, profesor asociado de patología en la Facultad de Medicina de Harvard, señaló que los modelos de IA anteriores en patología eran a menudo específicos de enfermedades o se enfocaban en tareas singulares, careciendo de adaptabilidad para el uso interactivo por parte de los patólogos.
“PathChat representa un paso hacia la inteligencia general en patología, funcionando como un copiloto de IA que puede ayudar a investigadores y patólogos en diversas situaciones,” comentó Mahmood.
Por ejemplo, en un escenario de opción múltiple solo con imagen, PathChat identificó con éxito un adenocarcinoma de pulmón a partir de una radiografía de tórax de un hombre de 63 años con tos crónica y pérdida de peso inexplicada. En otro caso con contexto clínico, identificó correctamente un tumor hepático como una metástasis, proporcionando información sobre posibles conexiones con melanoma.
La capacidad del modelo para manejar tareas subsecuentes, como el diagnóstico diferencial y la clasificación de tumores, a pesar de no haber sido entrenado específicamente con ejemplos etiquetados para estas tareas, marca un cambio significativo en el desarrollo de IA en patología. Tradicionalmente, el entrenamiento del modelo para estas tareas requería un vasto número de ejemplos etiquetados.
PathChat podría facilitar diagnósticos asistidos por IA con intervención humana, donde las evaluaciones iniciales se refinan con contexto adicional. Para casos complejos, como cánceres de origen primario desconocido o en entornos con pocos recursos y acceso limitado a patólogos expertos, este enfoque podría ser invaluable.
En investigación, PathChat podría resumir características de conjuntos de datos de imágenes extensos y automatizar la cuantificación e interpretación de marcadores morfológicos cruciales.
“Las aplicaciones potenciales para un copiloto de IA interactivo y multimodal en patología son vastas,” destacaron los investigadores. “Los LLM y la IA generativa están destinados a revolucionar la patología computacional con un enfoque en el lenguaje natural y la interacción humana.”
Si bien PathChat muestra promesas, los investigadores reconocen desafíos como errores de alucinación, que podrían mitigarse mediante aprendizaje por refuerzo a partir de retroalimentación humana (RLHF). El entrenamiento continuo con el conocimiento y la terminología médica actual es esencial, y el refuerzo a través de generación aumentada por recuperación (RAG) podría ayudar a mantener actualizada su base de datos de conocimientos.
Mejoras adicionales podrían incluir integraciones con visores de diapositivas digitales y registros de salud electrónicos, haciendo de PathChat una herramienta aún más beneficiosa para patólogos e investigadores. Mahmood también sugirió que la tecnología podría extenderse a otros campos de imagen médica y tipos de datos, como la genómica y proteómica.
El equipo de investigación planea recopilar extensa retroalimentación humana para alinear el rendimiento del modelo con las expectativas de los usuarios y mejorar sus respuestas. También conectarán PathChat con bases de datos clínicas para permitirle recuperar información relevante del paciente para un análisis más informado.
“Nuestro objetivo es colaborar con patólogos expertos de diversas especialidades para desarrollar estándares de evaluación y evaluar de manera integral las capacidades de PathChat en diversos modelos de enfermedad y flujos de trabajo,” afirmó Mahmood.
Clasificación
