Déchaîner GPT-4 : Performances Éblouissantes dans l'Évaluation Ophtalmique et Recommandations d'Experts pour une Mise en Œuvre Prudente

Une étude récente de l'École Clinique de l'Université de Cambridge a révélé que le modèle GPT-4 d'OpenAI excelle dans les évaluations ophtalmologiques, atteignant presque le niveau de compétence des médecins experts. Cette découverte révolutionnaire a suscité un intérêt majeur tant dans les milieux médicaux que technologiques.

Publiée dans la revue PLOS Digital Health, l'étude a évalué GPT-4, son prédécesseur GPT-3.5, PaLM 2 de Google et LLaMA de Meta à l'aide d'un test de connaissances ophtalmologiques complet. Ce test comprenait 87 questions à choix multiples sur des sujets tels que la photophobie et diverses lésions, avec un niveau de difficulté typique des manuels d'ophtalmologie. Cinq experts en ophtalmologie, trois médecins résidents et deux médecins juniors non spécialisés ont également passé le même test. Fait notable, ces questions étaient entièrement nouvelles pour les modèles de langage de grande taille (LLM).

Les résultats étaient impressionnants : GPT-4 a répondu correctement à 60 questions, surpassant à la fois les médecins résidents et les médecins juniors. Bien qu'il ait obtenu un score légèrement inférieur à la moyenne de 66,4 des experts en ophtalmologie, ces résultats soulignent son potentiel significatif dans les évaluations ophtalmologiques. En revanche, PaLM 2, GPT-3.5 et LLaMA ont obtenu respectivement 49, 42 et 28, tous en dessous de la moyenne des médecins juniors.

Bien que ces résultats illustrent les applications prometteuses des LLM dans le secteur de la santé, les chercheurs mettent en garde contre une surestimation de leur fiabilité. Ils soulignent que le nombre limité de questions, notamment dans certaines catégories, pourrait fausser les résultats. De plus, les LLM peuvent parfois produire des "hallucinations", générant des informations non pertinentes ou erronées, ce qui pose des risques sérieux dans les contextes médicaux. Par exemple, un diagnostic erroné de cataracte ou de cancer pourrait avoir de graves conséquences pour les patients.

Les chercheurs insistent sur le fait que, malgré les résultats initiaux positifs des LLM dans les évaluations ophtalmologiques, la prudence est essentielle dans les applications réelles. Les efforts futurs devraient se concentrer sur l'amélioration de la précision et de la fiabilité de ces modèles pour garantir leur utilisation sûre et efficace dans le domaine médical.

Cette étude offre une nouvelle perspective sur le rôle des LLM dans le secteur de la santé, tout en soulignant l'importance de rester conscient de leurs risques et limitations à mesure que nous avançons vers des avancées technologiques. Alors que la technologie des LLM continue d'évoluer, nous sommes impatients de découvrir comment elle peut positivement impacter le secteur médical.