Forscher der University of Chicago haben herausgefunden, dass große Sprachmodelle (LLMs) wie OpenAIs GPT-4 in der Lage sind, Finanzberichte mit einer Genauigkeit zu analysieren, die professionellen Finanzanalysten rivalisiert oder sogar überlegen ist. In ihrem Arbeitspapier „Finanzberichterstattung mit großen Sprachmodellen“ präsentieren sie bedeutende Implikationen für die Zukunft der Finanzanalyse und Entscheidungsfindung.
In der Studie bewerteten die Forscher die Fähigkeit von GPT-4, das Wachstum von Unternehmensgewinnen vorherzusagen, indem sie standardisierte, anonymisierte Bilanzen und Gewinn- und Verlustrechnungen ohne jeden Textkontext analysierten. Beeindruckenderweise übertraf GPT-4 dabei menschliche Analysten.
Die Autoren stellten fest: „Wir haben herausgefunden, dass die Vorhersagegenauigkeit des LLM mit der eines eng trainierten, hochmodernen Modells des maschinellen Lernens vergleichbar ist.“ Sie betonten, dass der Erfolg des LLM nicht nur auf den Trainingsdaten beruht, sondern auch auf seiner Fähigkeit, aufschlussreiche Erzählungen über die zukünftige Leistung eines Unternehmens zu generieren.
GPT-4 erzielte eine bemerkenswerte Genauigkeitsbewertung von 60,4 % sowie einen F1-Wert von 60,9 %, indem es einen neuartigen Ansatz aus strukturierten Finanzdaten in Kombination mit „Chain-of-Thought“-Prompts verwendete. Diese Prompts helfen der KI, den Denkprozess menschlicher Analysten nachzuahmen, sodass sie Trends erkennen, Kennzahlen berechnen und Informationen zur Vorhersage synthetisieren kann. Dieser Ansatz führte zu einer signifikanten Verbesserung gegenüber menschlichen Analysten, deren Vorhersagen typischerweise zwischen 53 % und 57 % Genauigkeit lagen.
Die Forscher sind überzeugt, dass LLMs eine entscheidende Rolle bei finanziellen Entscheidungsprozessen spielen könnten, dank ihres umfassenden Wissens und der Fähigkeit, Muster zu erkennen, die sie in die Lage versetzen, intuitive Schlussfolgerungen selbst mit unvollständigen Daten zu ziehen.
Trotz dieser vielversprechenden Ergebnisse weisen Experten darauf hin, dass LLMs im numerischen Bereich Herausforderungen gegenüberstehen und oft mit komplexen Berechnungen sowie menschlichen Interpretationen von Daten kämpfen. Mitautor Alex Kim merkte an: „Während LLMs in textuellen Aufgaben glänzen, ist ihr Verständnis von Zahlen stark kontextabhängig und fehlt die tiefgehende numerische Logik, die Menschen besitzen.“
Kritiker sind zudem skeptisch, ob das verwendete künstliche neuronale Netzwerk (ANN) als Maßstab in dieser Studie geeignet ist, da es nicht die fortschrittlichsten Methoden der quantitativen Finanzanalyse repräsentiert.
Dennoch unterstreicht die Fähigkeit eines allgemeinen Sprachmodells, die Leistungen spezialisierter maschineller Lernmodelle zu erreichen und menschliche Experten zu übertreffen, das transformative Potenzial von LLMs im Finanzbereich. Die Forscher haben eine interaktive Webanwendung entwickelt, die es Nutzern ermöglicht, die Analysefähigkeiten von GPT-4 zu erkunden, weisen jedoch darauf hin, dass die Genauigkeit seiner Vorhersagen unabhängig überprüft werden sollte.
Da sich die künstliche Intelligenz weiterentwickelt, wird sich die Rolle von Finanzanalysten erheblich verändern. Während menschliches Urteilsvermögen weiterhin entscheidend bleibt, sind Werkzeuge wie GPT-4 bereit, die Effizienz der Finanzberichterstattung erheblich zu steigern und die Branche in den kommenden Jahren möglicherweise neu zu gestalten.