Quatre modèles avancés de langage de grande taille (LLM) ont été présentés à une image représentant ce qui semble être une roche mauve, mais qui est en réalité une tumeur oculaire potentiellement grave. Les modèles devaient identifier son emplacement, son origine et sa gravité potentielle.
LLaVA-Med identifie incorrectement la croissance maligne comme étant située dans la muqueuse interne de la joue, tandis que LLaVA suggère qu'elle se trouve dans le sein. GPT-4V offre une réponse vague et échoue à identifier l'emplacement de la tumeur. En revanche, PathChat, un nouveau LLM spécifique à la pathologie, identifie avec précision la tumeur comme provenant de l'œil et souligne son potentiel à entraîner une perte de vision.
Développé au laboratoire Mahmood de l'hôpital Brigham and Women’s, PathChat représente une avancée significative en pathologie computationnelle, servant de consultant aux pathologistes humains pour les aider à identifier, évaluer et diagnostiquer les tumeurs et conditions graves.
PathChat surpasse de manière significative les modèles leaders dans les questions de diagnostic à choix multiples et fournit des réponses cliniquement pertinentes aux requêtes ouvertes. Il est désormais disponible grâce à une licence exclusive avec Modella AI, basé à Boston.
« PathChat 2 est un modèle de langage multimodal qui comprend les images de pathologie et le texte cliniquement pertinent, lui permettant d’engager des conversations significatives avec les pathologistes », a expliqué Richard Chen, CTO fondateur de Modella.
Comparativement, PathChat dépasse ChatGPT-4, LLaVA et LLaVA-Med. Les chercheurs ont adapté un encodeur de vision pour la pathologie, le combinant avec un LLM pré-entraîné et le perfectionnant avec des invites visuelles et des sessions de question-réponse. Les questions couvraient 54 diagnostics à travers 11 pratiques et organes majeurs en pathologie.
Chaque évaluation a utilisé deux stratégies : une image accompagnée de dix questions à choix multiples, et une image avec un contexte clinique supplémentaire, incluant le sexe du patient, l'âge, l'historique clinique et les résultats de radiologie. En analysant des images provenant de radiographies, de biopsies et d'autres tests médicaux, PathChat a atteint 78 % de précision avec des données uniquement visuelles et 89,5 % avec un contexte supplémentaire. Le modèle a excellé dans le résumé, la classification et la légende de contenu tout en répondant avec précision à des questions nécessitant des connaissances en pathologie et en biomédecine.
PathChat a surpassé ChatGPT-4V, LLaVA en open source et LLaVA-Med dans les deux contextes d'évaluation. Avec des invites uniquement basées sur des images, il a obtenu un score supérieur de 52 % à celui de LLaVA et de 63 % à celui de LLaVA-Med. En fournissant un contexte clinique, il a affiché une performance supérieure de 39 % à celle de LLaVA et presque 61 % à celle de LLaVA-Med. De même, PathChat a montré plus de 53 % d'amélioration par rapport à GPT-4 avec des invites uniquement basées sur des images et 27 % d'amélioration avec des invites contextualisées cliniquement.
Faisal Mahmood, professeur associé de pathologie à la Harvard Medical School, a souligné que les anciens modèles d'IA en pathologie étaient souvent spécifiques à une maladie ou se concentraient sur des tâches uniques, manquant de polyvalence pour une utilisation interactive par les pathologistes.
« PathChat représente un pas vers une intelligence pathologique générale, servant d'assistant AI qui peut aider les chercheurs et pathologistes dans diverses situations », a commenté Mahmood.
Par exemple, dans un scénario à choix multiples basé uniquement sur une image, PathChat a identifié avec succès un adénocarcinome pulmonaire à partir d'une radiographie thoracique pour un homme de 63 ans avec une toux chronique et une perte de poids inexpliquée. Dans un autre cas avec un contexte clinique, il a correctement identifié une tumeur du foie comme une métastase, fournissant des informations sur les possibles liens avec un mélanome.
La capacité du modèle à gérer des tâches secondaires, telles que le diagnostic différentiel et la classification des tumeurs, malgré l'absence d'entraînement spécifique sur des exemples labellisés pour ces tâches, marque un tournant significatif dans le développement de l'IA en pathologie. Traditionnellement, l'entraînement des modèles pour ces tâches nécessitait un grand nombre d'exemples labellisés.
PathChat pourrait faciliter le diagnostic humain assisté par IA, où les évaluations initiales sont affinées avec un contexte supplémentaire. Pour des cas complexes, tels que les cancers d'origine primaire inconnue, ou dans des environnements à faibles ressources avec un accès limité à des pathologistes experts, cette approche pourrait s'avérer inestimable.
En recherche, PathChat pourrait résumer des caractéristiques d'ensembles d'images étendus et automatiser la quantification et l'interprétation des marqueurs morphologiques cruciaux.
« Les applications potentielles d'un copilote AI interactif et multimodal en pathologie sont vastes », ont noté les chercheurs. « Les LLM et l'IA générative sont prêts à révolutionner la pathologie computationnelle en se concentrant sur le langage naturel et l'interaction humaine. »
Bien que PathChat montre des promesses, les chercheurs reconnaissent des défis tels que les erreurs d'hallucination, qui pourraient être atténuées par l'apprentissage par renforcement à partir des retours humains (RLHF). Une formation continue avec des connaissances médicales et une terminologie à jour est essentielle, et le renforcement à travers la génération augmentée par récupération (RAG) pourrait aider à maintenir sa base de données de connaissances à jour.
Des améliorations supplémentaires pourraient inclure des intégrations avec des visualisateurs de lames numériques et des dossiers de santé électroniques, rendant PathChat encore plus bénéfique pour les pathologistes et les chercheurs. Mahmood a également suggéré que la technologie pourrait s'étendre à d'autres domaines d'imagerie médicale et types de données, tels que la génomique et la protéomique.
L'équipe de recherche prévoit de recueillir d'importants retours humains pour aligner les performances du modèle avec les attentes des utilisateurs et améliorer ses réponses. Ils relieront également PathChat à des bases de données cliniques pour lui permettre de récupérer des informations patient pertinentes pour une analyse mieux informée.
« Notre objectif est de collaborer avec des pathologistes experts dans diverses spécialités pour développer des repères d'évaluation et évaluer de manière exhaustive les capacités de PathChat à travers divers modèles de maladies et flux de travail », a déclaré Mahmood.
Classement
