Большие языковые модели (БЯМ) значительно продвинулись в различных областях, однако их способности к рассуждению остаются предметом активных исследований. Недавние исследования изучали различные методы запроса для улучшения логических навыков решения задач у БЯМ.
Прорывной подход, разработанный исследователями компании Meta, под названием Внимание Системы 2 (S2A), интегрирует концепции из психологии. S2A уточняет пользовательские запросы, устраняя вводящую в заблуждение или не относящуюся к делу информацию, что позволяет БЯМ сосредоточиться исключительно на данных, имеющих отношение к задаче. Это сосредоточение повышает точность в задачах вопрос-ответ и логического рассуждения.
Первые эксперименты показывают, что языковые модели, использующие S2A, демонстрируют заметные улучшения, что делает данный метод особенно ценным для приложений, требующих надежных способностей к рассуждению.
БЯМ и Рассуждение
Эффективность рассуждений БЯМ варьируется. Несмотря на то, что некоторые стратегии механики запроса могут повысить их эффективность, модели часто сталкиваются с трудностями при наличии неуместного или субъективного содержания в запросах. Например, когда запрос содержит личное мнение или предположение, модель может просто повторить ввод пользователя, не предоставляя точные ответы.
Это ограничение возникает из-за механизмов обучения и внимания, присущих трансформерам — архитектуре, использованной в БЯМ. Трансформеры сильно фокусируются на предсказании следующего токена, что делает их чувствительными к контекстуальному вводу. Если сущность упоминается в определённом контексте, модель, как правило, предсказывает её повторение, что может искажать вывод, акцентируя внимание на повторяющихся токенах.
Понимание Внимания Системы 2
Исследователи предлагают инновационный механизм внимания, который использует БЯМ в качестве естественных рассуждателей. "Мы используем способность БЯМ следовать инструкциям, побуждая их генерировать контекст, сосредоточенный на релевантных материалах, тем самым уменьшая предвзятость в рассуждениях", — объясняют они.
Применяя БЯМ с настроенными инструкциями для пересмотра своего контекста, S2A эффективно устраняет ненужный текст, направляя модель на приоритетное внимание к важной информации перед генерацией ответов. Термин Внимание Системы 2 заимствован из концепции быстрого и медленного мышления Даниэля Канемана, обсуждаемой в его книге "Думай медленно... решай быстро".
Мышление Системы 1 быстро и интуитивно, но может привести к предвзятости из-за опоры на умственные ярлыки. Напротив, мышление Системы 2 более аналитично, требует больших когнитивных усилий и обрабатывает информацию более логично. Механизм S2A направлен на смягчение проблем, возникающих из стандартных методов внимания, когда БЯМ решают задачи рассуждения.
По словам исследователей, "S2A генерирует больше фактических ответов и минимизирует предвзятости по сравнению с традиционными моделями на основе внимания".
Как работает S2A
Техника S2A состоит из простого двухэтапного процесса. Сначала S2A изменяет исходный контекст, удаляя неуместные части. Затем уточнённый контекст передаётся основной БЯМ для генерации вывода.
Существует несколько способов реализации начального этапа. Исследователи отмечают: "Наш подход использует БЯМ с настройками инструкций, имеющими опыт в схожих задачах рассуждения и генерации, что позволяет нам выполнять это в качестве инструкционного запроса."
Использование БЯМ с настройками инструкций предоставляет точный контроль над вниманием модели в зависимости от требований задачи или процесса тонкой настройки. Например, исследователи разработали функцию для отправки запроса без обучения, прося БЯМ выполнить требуемую задачу S2A на исходном запросе. Этот запрос инструктирует модель регенерировать контекст, отделяя полезную информацию от запроса для уточнения шагов рассуждения.
Они также представили несколько вариантов S2A. Для более коротких контекстов или мощных БЯМ разделение контекста и вопроса может быть не обязательным. Достаточно просто запросить переписывание без разделения. Другой вариант сохраняет оригинальный запрос, добавляя сгенерированный S2A запрос, позволяя модели иметь доступ к обеим версиям.
Исследователи тестировали S2A в различных задачах, включая вопросы и ответы, длинное рассуждение и математические задачи с неуместной или вводящей в заблуждение информацией. S2A стремится объективно отвечать на вопросы, направляя модель на использование данных, дающих наиболее точные ответы.
Результаты и Будущие Направления
Эксперименты показывают, что S2A устойчива к предвзятости мнений и позволяет БЯМ работать почти так же хорошо, как при использовании чистых запросов, лишённых отвлекающих факторов. Более того, БЯМ с S2A демонстрируют улучшенную объективность в задачах длинной генерации.
Тем не менее, исследователи признают, что S2A не безупречна; модели всё ещё могут быть иногда подвержены влиянию неуместных корреляций. Также S2A увеличивает вычислительные затраты на генерацию ответов, так как вводит дополнительные шаги и требует извлечения контекстной информации. Эти аспекты подчеркивают области для будущих улучшений, позиционируя S2A как перспективное дополнение к набору методов рассуждения для применения БЯМ.
Рейтинг
