Les grands modèles de langage (LLMs) ont considérablement progressé dans divers domaines, mais leurs capacités de raisonnement restent un sujet de recherche actif. Des études récentes ont exploré différentes techniques de formulation pour améliorer les compétences de résolution de problèmes logiques des LLMs.
Une approche innovante développée par des chercheurs de Meta, appelée Attention Système 2 (S2A), intègre des concepts psychologiques. S2A affine les instructions des utilisateurs en éliminant les informations trompeuses ou irrélévantes, permettant ainsi aux LLMs de se concentrer uniquement sur les données pertinentes à la tâche. Cette concentration améliore la précision dans les tâches de question-réponse et de raisonnement.
Les premières expériences montrent que les modèles linguistiques utilisant S2A affichent des progrès notables, ce qui les rend particulièrement utiles pour des applications nécessitant des capacités de raisonnement fiables.
LLMs et Raisonnement
Les performances de raisonnement des LLMs varient. Bien que certaines stratégies de formulation puissent augmenter leur efficacité, ces modèles peinent souvent lorsqu'ils sont confrontés à des contenus irrélévants ou subjectifs. Par exemple, lorsqu'une formulation inclut une opinion personnelle, le modèle peut simplement répéter l'entrée de l'utilisateur au lieu de fournir des réponses précises.
Cette limitation provient des mécanismes d'apprentissage et d'attention propres aux transformers, l'architecture utilisée par les LLMs. Les transformers se concentrent fortement sur la prédiction du prochain jeton, les rendant sensibles aux entrées contextuelles. Lorsqu'une entité est mentionnée dans un contexte spécifique, le modèle a tendance à prédire sa récurrence, ce qui peut fausser le résultat en mettant l'accent sur les jetons répétés.
Comprendre l'Attention Système 2
Les chercheurs proposent un mécanisme d'attention novateur qui utilise les LLMs comme raisonneurs en langage naturel. « Nous exploitons la capacité des LLMs à suivre des instructions, les incitant à générer un contexte axé sur le matériel pertinent, réduisant ainsi les biais en raisonnement », expliquent-ils.
En utilisant des LLMs adaptés aux instructions pour affiner leur contexte, le S2A élimine efficacement le texte superflu, guidant le modèle pour donner la priorité à l'information pertinente avant de générer des réponses. L'expression « Attention Système 2 » s'inspire du concept de pensée Système 1 et Système 2 du psychologue Daniel Kahneman, discuté dans son livre Thinking, Fast and Slow.
La pensée Système 1 est rapide et intuitive, mais peut mener à des biais en raison de son recours à des raccourcis mentaux. En revanche, la pensée Système 2 est analytique, nécessitant un effort cognitif plus important, et traite l'information de manière plus logique. Le mécanisme S2A vise à atténuer les problèmes associés aux méthodes d'attention classiques lorsque les LLMs s'attaquent à des tâches de raisonnement.
Selon les chercheurs, « le S2A génère des réponses plus factuelles et minimise les biais par rapport aux LLMs traditionnels basés sur l'attention. »
Comment le S2A Fonctionne
La technique S2A se compose d'un simple processus en deux étapes. D'abord, S2A modifie le contexte initial en retirant les parties irrélévantes. Ensuite, le contexte affiné est transmis au LLM principal pour générer sa réponse.
Il existe plusieurs façons de mettre en œuvre la première étape. Les chercheurs notent : « Notre approche utilise des LLMs adaptés aux instructions, spécialisés dans des tâches de raisonnement et de génération similaires, ce qui nous permet d'exécuter ceci comme une invite d'instruction. »
Utiliser des LLMs adaptés aux instructions offre un contrôle précis sur l'attention du modèle selon les exigences de la tâche ou le processus d'affinage. Par exemple, les chercheurs ont conçu une fonction pour envoyer une invite en zéro-shot, demandant au LLM d'effectuer la tâche S2A souhaitée sur l'invite originale. Cette invite demande au modèle de régénérer le contexte tout en séparant les informations utiles de la requête pour clarifier les étapes de raisonnement.
Ils ont également introduit plusieurs variantes du S2A. Pour des contextes plus courts ou des LLMs robustes, la partition du contexte et de la question peut ne pas être nécessaire. Il suffit parfois de demander une réécriture non partitionnée. Une autre variante maintient l'invite originale tout en ajoutant la requête générée par S2A, permettant au modèle d'accéder aux deux versions.
Les chercheurs ont testé le S2A sur diverses tâches, y compris la réponse à des questions, le raisonnement à long terme et des problèmes mathématiques contenant des informations irrélévantes ou trompeuses. Le S2A vise à répondre aux questions de manière objective en guidant le modèle à s'appuyer sur les données qui produisent les réponses les plus précises.
Résultats et Perspectives d'Avenir
Les expériences indiquent que le S2A est résistant au biais d'opinion et permet aux LLMs de performer presque aussi bien que lorsqu'ils reçoivent des instructions claires exemptes de distractions. De plus, les LLMs équipés du S2A démontrent une objectivité améliorée dans les tâches de génération longue.
Cependant, les chercheurs reconnaissent que le S2A n'est pas infaillible ; les modèles peuvent encore parfois être influencés par des corrélations irrélévantes. De plus, le S2A augmente le coût computationnel de la génération de réponses, car il introduit des étapes supplémentaires et nécessite une extraction d'informations contextuelles. Ces aspects mettent en lumière les domaines à améliorer à l'avenir, positionnant le S2A comme une addition prometteuse aux techniques de raisonnement pour les applications de LLM.
Classement
