Modelos de linguagem grandes (LLMs) dependem fundamentalmente da qualidade e do alcance dos dados utilizados em seu treinamento. Pesquisadores buscam, há muito tempo, métodos eficazes para permitir que esses modelos se autocorrijam durante a geração de suas saídas. Iniciativas iniciais, como a abordagem multiagente desenvolvida no MIT, mostraram promissora eficácia nessa área. No entanto, descobertas recentes do Google DeepMind revelam que LLMs podem, na verdade, apresentar declínios de desempenho ao tentarem a autocorreção de forma independente.
No artigo intitulado “Grandes Modelos de Linguagem Não Podem Autocorretar o Raciocínio Ainda”, pesquisadores do Google DeepMind realizaram extensos experimentos para esclarecer as limitações das capacidades de autocorreção dos LLMs. Sua análise destacou um desafio significativo: quando esses modelos tentam corrigir seus erros apenas com base em julgamento interno—sem orientação externa—tendem a falhar. Isso representa uma mudança notável em relação a pesquisas anteriores, que indicaram que a autocorreção intrínseca poderia ser eficaz quando guiada por ‘oráculos’, ou seja, rótulos corretos pré-determinados. A ausência desses oráculos resulta em uma falta de melhoria na precisão dos modelos.
A equipe sublinhou que os LLMs devem possuir capacidades de autocorreção, especialmente uma vez que o feedback externo é “indisponível em muitas aplicações do mundo real”.
Desafios na Autocorreção
Alucinações, que são saídas espúrias geradas pelos LLMs, representam um dos vários desafios enfrentados por esses modelos. Embora nenhum sistema esteja completamente livre de tais imprecisões, existem estratégias de mitigação—como o método AST proposto pela Gorilla e uma abordagem de Sociedade Multiagente explorada por pesquisadores do MIT.
Imagine um cenário onde um chatbot de atendimento ao cliente baseado em LLM percebe que forneceu uma resposta incorreta e corrige o erro autonomamente. A comunidade de pesquisa em IA está cada vez mais focada em tornar esse cenário uma realidade. Pesquisadores do Google contemplaram esse objetivo, mas observaram que muitas melhorias atribuídas à autocorreção provavelmente resultam de prompts iniciais mal elaborados ofuscados por feedback bem projetado. “Nesses casos,” afirmaram, “integrar o feedback na instrução inicial ou refinar o prompt inicial poderia gerar melhores resultados e reduzir custos.”
No entanto, esse ajuste não cumpre a aspiração de permitir que os LLMs se autocorrijam completamente sozinhos. Por exemplo, solicitar a um modelo que "Revise sua resposta anterior e identifique erros" pode gerar resultados incorretos, mesmo que a resposta inicial tenha sido precisa.
Explorando a Consistência nas Saídas
A pesquisa envolveu diversos modelos, incluindo o ChatGPT da OpenAI, em testes de benchmark onde foram encarregados da geração de código. Sistemas baseados em agentes criticaram essas respostas em busca de erros para facilitar a autocorreção. Esse processo revelou que, embora nenhum modelo de IA tenha produzido saídas idênticas de forma consistente, múltiplos LLMs poderiam alcançar um consenso em uma resposta consistente.
A pesquisa enfatiza o conceito de autoconistência, argumentando que as melhorias observadas não provêm da autocorreção, mas sim de uma maior consistência nas saídas dos modelos. A distinção reside em saber se o mecanismo de votação se baseia em insights impulsionados pelos modelos ou em simples contagens de respostas. Portanto, para categorizar algo como autocorreção, é essencial excluir os efeitos de seleção que surgem da geração de múltiplas saídas.
O Caminho para uma Autocorreção Eficaz
A pergunta que permanece é: quando a verdadeira autocorreção nos LLMs se tornará viável? O Google DeepMind sugere que as capacidades de autocorreção possam ser particularmente benéficas em aplicações que exigem geração de respostas mais seguras. O estudo aponta para modelos que incorporam rótulos verdadeiros, como o sistema 'Constitutional AI' de Claude, que poderia ajudar os LLMs a evitar respostas incorretas durante o processo de raciocínio.
Atualmente, os LLMs não têm a capacidade de se autocorrigir de forma independente sem entrada externa. Os pesquisadores afirmam que é excessivamente otimista supor que esses modelos desenvolverão eventualmente capacidades autônomas de autocorreção. Em vez disso, defendem melhorias nos modelos atuais para prepará-los melhor para uma eventual autocorreção.
Para avançar neste importante campo, eles convocam os pesquisadores a adotar uma visão crítica sobre a autocorreção—reconhecendo seu potencial, ao mesmo tempo em que compreendem suas limitações. Essa abordagem equilibrada preparará melhor os LLMs para melhorias em precisão e confiabilidade, orientando sua evolução como ferramentas precisas e confiáveis em diversas aplicações.
Classificação
