Улучшение принятия решений в больших языковых моделях: две современные стратегии

Появляющиеся большие языковые модели (LLM), такие как ChatGPT от OpenAI (в частности GPT-4), Claude AI и Gemini, продемонстрировали ограниченные способности к принятию решений. Эта статья исследует недавние исследования в области принятия решений LLM и их последствия для будущего технологий.

Традиционно эффективное принятие решений в LLM заключается в распознавании основополагающих паттернов или правил и их гибком применении к новым сценариям. Исследование Института Санта-Фе показало, что LLM, включая ChatGPT, испытывают трудности с "мыслими о базовых ключевых концепциях". Для принятия обоснованных решений необходимо глубокое понимание контекста запроса и потенциальных последствий вывода.

Неумелое принятие решений LLM может привести к негативным последствиям. Например, в 2023 году Национальная ассоциация расстройств пищевого поведения приостановила работу своего AI-чат-бота "Tessa" после того, как он начал давать вредные советы, такие как рекомендации по недельному взвешиванию и дефициту калорий от 500 до 1000 калорий. Обратная реакция привела к быстрой деактивации чат-бота.

LLM также склонны генерировать обобщенные рекомендации. Исследование INSEAD показало, что при ответах на вопросы стратегического бизнес-планирования ChatGPT часто использовал общепринятую мудрость, такую как продвижение командной работы и культуры инноваций. Однако бизнес-стратегия — это сложный процесс, требующий индивидуальных инсайтов, а не обобщенных советов.

Можно предположить, что обучение LLM конкретным бизнес-стратегиям или медицинским рекомендациям может решить эти проблемы. Однако улучшение их контекстуального понимания не может быть достигнуто только за счет расширения наборов данных. Простое добавление большего объема данных может привести к искажениям и увеличению вычислительных требований без улучшения качества принятия решений.

Обеспечение контекстуально уместного принятия решений

Обучение LLM для контекстуально уместного принятия решений требует тонкого подхода. Две продвинутые стратегии из современного исследования машинного обучения предлагают способы улучшения принятия решений LLM, делая его более похожим на человеческие когнитивные процессы. Первая стратегия, AutoGPT, использует механизм саморефлексии для планирования и валидации выводов. Вторая, Tree of Thoughts (ToT), способствует эффективному принятию решений, отклоняясь от традиционного линейного мышления.

AutoGPT предназначен для автономного создания, оценки и уточнения моделей для достижения конкретных целей. Улучшения AutoGPT теперь включают стратегию "дополнительные мнения", интегрируя экспертные модели в процесс принятия решений. Эта интеграция позволяет LLM использовать релевантную информацию из различных экспертных анализов, улучшая результаты решений через системный подход "мысль-рассуждение-план-критика".

При эффективной реализации LLM с экспертными моделями могут обрабатывать больше информации, чем люди, что подразумевает возможность принятия более обоснованных решений. Однако ограничением AutoGPT является ограниченное окно контекста, что может привести к бесконечным цикл взаимодействия. Предоставление всей релевантной информации заранее часто дает лучшие результаты, чем постепенное введение данных в ходе разговора.

Имитация человеческого мышления с помощью Tree of Thoughts

Каркас Tree of Thoughts (ToT) предлагает другой многообещающий способ повышения точности LLM, подражая человеческим когнитивным процессам. Человеческое принятие решений часто связано с генерацией и оценкой множества сценариев. ToT выявляет ошибки линейного мышления в LLM, аналогично подходу AutoGPT. В экспериментах ToT измеряет способности LLM следовать инструкциям на естественном языке при выполнении задач, таких как головоломки и креативное письмо.

Традиционное линейное мышление в LLM представлено "Цепью Мысли", которая описывает последовательный процесс принятия решений. Однако ToT стремится улучшить самокритические способности LLM и исследовать различные пути рассуждений. Например, в игре "Игра 24" Цепь Мысли испытывала трудности в определении различных математических операций для достижения числа 24, что привело к низкой точности. Способность ToT оценивать несколько возможных исходов обеспечила 74% точности в той же задаче.

Если LLM смогут последовательно улучшать свое суждение, будущее сотрудничество между людьми и ИИ в стратегическом принятии решений может стать реальностью. Применение ToT распространяется на программирование, анализ данных и робототехнику, в то время как AutoGPT стремится к общему интеллекту.

По мере развития академических исследований появляются инновационные стратегии, направленные на улучшение когнитивного принятия решений в LLM. Учитывая их врожденную способность эффективно анализировать огромные объемы данных, успешные достижения могут позволить LLM сопоставить или даже превзойти человеческие способности в принятии решений в ближайшие годы.