GPT-4 entfesseln: Beeindruckende Leistung in der ophthalmologischen Bewertung und fachkundige Empfehlungen für eine vorsichtige Implementierung.

Eine aktuelle Studie der Cambridge University Clinical School zeigt, dass das GPT-4-Modell von OpenAI bemerkenswert gut in ophthalmologischen Bewertungen abschneidet und nahezu die Kompetenz von Fachärzten erreicht. Dieses bahnbrechende Ergebnis hat sowohl in der medizinischen als auch in der Technologiebranche erhebliche Aufmerksamkeit erregt.

Die in der Zeitschrift PLOS Digital Health veröffentlichte Studie bewertete GPT-4, dessen Vorgänger GPT-3.5, Google PaLM 2 und Meta LLaMA mithilfe eines umfassenden Tests zum ophthalmologischen Wissen. Der Test bestand aus 87 Multiple-Choice-Fragen zu Themen wie Photophobie und verschiedenen Läsionen, mit einem Schwierigkeitsgrad, der typisch für Ophthalmologie-Lehrbücher ist. Fünf Ophthalmologie-Experten, drei Fachärzte in der Weiterbildung und zwei nicht-spezialisierte Assistenzärzte nahmen ebenfalls an dem Test teil. Bemerkenswert ist, dass diese Fragen für die großen Sprachmodelle (LLMs) völlig neu waren.

Die Ergebnisse waren beeindruckend: GPT-4 beantwortete 60 Fragen korrekt und übertraf sowohl die Fachärzte in der Weiterbildung als auch die Assistenzärzte. Obwohl es leicht unter dem Durchschnitt von 66,4 Punkten der Ophthalmologie-Experten lag, verdeutlichen die Resultate das beträchtliche Potenzial des Modells in ophthalmologischen Bewertungen. Im Gegensatz dazu erzielten PaLM 2, GPT-3.5 und LLaMA 49, 42 und 28 Punkte und blieben damit hinter dem durchschnittlichen Ergebnis der Assistenzärzte zurück.

Während diese Ergebnisse vielversprechende Anwendungen von LLMs im Gesundheitswesen zeigen, warnen die Forscher vor einer Überschätzung ihrer Zuverlässigkeit. Sie betonen, dass die begrenzte Anzahl an Fragen, insbesondere in bestimmten Kategorien, die Ergebnisse verzerren könnte. Zudem können LLMs gelegentlich „Halluzinationen“ erzeugen, also irrelevante oder fehlerhafte Informationen generieren, was in medizinischen Kontexten ernsthafte Risiken birgt. Beispielsweise könnte eine Fehldiagnose von Katarakten oder Krebs schwerwiegende Folgen für die Patienten haben.

Die Forscher betonen, dass trotz der anfänglich positiven Ergebnisse von LLMs in ophthalmologischen Bewertungen Vorsicht bei deren Anwendung in der Praxis geboten ist. Zukünftige Anstrengungen sollten sich darauf konzentrieren, die Genauigkeit und Zuverlässigkeit dieser Modelle zu verbessern, um sicherzustellen, dass sie im medizinischen Bereich sicher und effektiv eingesetzt werden können.

Diese Studie bietet eine neue Perspektive auf die Rolle von LLMs im Gesundheitswesen und hebt gleichzeitig hervor, wie wichtig es ist, sich der Risiken und Grenzen bewusst zu sein, während wir technologische Fortschritte anstreben. Mit der fortschreitenden Entwicklung der LLM-Technologie freuen wir uns darauf, weitere Fortschritte zu sehen, die sich positiv auf den medizinischen Sektor auswirken können.