Исследователи из Университета Чикаго обнаружили, что крупные языковые модели (LLM), такие как GPT-4 от OpenAI, способны анализировать финансовые отчёты с точностью, сопоставимой или даже превышающей точность профессиональных финансовых аналитиков. В их работе «Анализ финансовых отчётов с помощью крупных языковых моделей» представлены результаты, предполагающие значительные изменения в финансовом анализе и принятии решений.
В своем исследовании ученые оценили способность GPT-4 предсказывать рост корпоративных доходов, анализируя стандартизированные анонимные балансы и отчёты о прибылях и убытках — без какого-либо текстового контекста. Восхитительно, но GPT-4 превзошёл человеческих аналитиков в этой задаче.
Авторы отметили: «Мы обнаружили, что точность предсказаний LLM сопоставима с точностью специализированной модели машинного обучения». Они подчеркнули, что успех LLM не просто зависит от обучающих данных, а также от его способности генерировать проницательные нарративы о будущей деятельности компании.
GPT-4 достиг впечатляющего результата — 60,4% точности и F1-оценки 60,9%, применяя новый подход с использованием структурированных финансовых данных в сочетании с «размышлениями в цепочке». Эти подсказки позволяют ИИ имитировать процесс рассуждения человеческих аналитиков, помогая выявлять тренды, вычислять коэффициенты и синтезировать информацию для прогнозов. Это привело к значительному улучшению по сравнению с человеческими аналитиками, чьи прогнозы обычно колебались в пределах 53%-57% точности.
Исследователи считают, что LLM могут сыграть ключевую роль в финансовом принятии решений благодаря своим обширным знаниям и способности распознавать паттерны, что позволяет им использовать интуитивные рассуждения даже с неполными данными.
Несмотря на обнадеживающие результаты, эксперты подчеркивают, что LLM сталкиваются с трудностями в числовой области, часто испытывая сложности с комплексными вычислениями и человеческими интерпретациями данных. Соавтор Алекс Ким отметил: «Хотя LLM превосходят в текстовых задачах, их понимание чисел сильно зависит от контекста, им не хватает глубинного числового мышления, присущего людям».
Критики также выражают сомнения в использовании модели искусственной нейронной сети (ANN) в качестве эталона в данном исследовании, утверждая, что она не отражает наиболее современные методы количественных финансов.
Тем не менее, способность универсальной языковой модели соперничать с производительностью специализированных моделей машинного обучения — и превосходить человеческих экспертов — подчеркивает трансформационный потенциал LLM в финансах. Исследователи разработали интерактивное веб-приложение, позволяющее пользователям изучить аналитические возможности GPT-4, хотя они рекомендуют самостоятельно проверять точность его предсказаний.
С развитием искусственного интеллекта роль финансовых аналитиков ожидает значительные изменения. Хотя человеческое суждение останется важным, такие инструменты, как GPT-4, способны значительно повысить эффективность анализа финансовых отчётов, что потенциально изменит отрасль в ближайшие годы.