A melhoria de modelos de linguagem de grande porte (LLMs) com conhecimento que vai além dos dados de treinamento é crucial para aplicações empresariais. Uma abordagem proeminente para integrar conhecimentos específicos de domínio e do cliente em LLMs é a geração aumentada por recuperação (RAG). No entanto, métodos básicos de RAG frequentemente não são suficientes.
Construir aplicações de LLMs com dados aumentados exige uma consideração cuidadosa de diversos fatores. Em um estudo recente realizado por pesquisadores da Microsoft, foi proposto um framework para categorizar diferentes tipos de tarefas RAG com base no tipo de dados externos necessários e na complexidade do raciocínio envolvido. “As aplicações de LLMs com dados aumentados não são uma solução única,” observam os pesquisadores. “As demandas do mundo real, especialmente em domínios especializados, são complexas e podem variar significativamente em relação aos dados fornecidos e ao raciocínio exigido.”
Para lidar com essa complexidade, os pesquisadores sugerem uma categorização de quatro níveis para as consultas dos usuários:
- Fatos Explícitos: Consultas que exigem a recuperação de fatos diretamente afirmados nos dados.
- Fatos Implícitos: Consultas que necessitam da inferência de informações não explicitadas, frequentemente envolvendo raciocínio básico.
- Raciocínios Interpretabis: Consultas que requerem a compreensão e aplicação de regras específicas de domínio a partir de recursos externos.
- Raciocínios Ocultos: Consultas que exigem a descoberta de métodos de raciocínio implícitos não afirmados nos dados.
Cada nível de consulta apresenta desafios únicos e necessita de soluções personalizadas.
Categorias de Aplicações de LLM com Dados Aumentados
Consultas de Fatos Explícitos
Essas consultas se concentram na recuperação direta de informações factuais explicitadas nos dados. A característica definidora é a dependência direta de dados externos específicos. O RAG básico é comumente utilizado aqui, onde o LLM recupera informações relevantes de uma base de conhecimento para gerar uma resposta. No entanto, desafios surgem em cada etapa do pipeline RAG. Por exemplo, durante a indexação, o sistema RAG deve gerenciar grandes conjuntos de dados não estruturados, que podem incluir elementos multimodais, como imagens e tabelas. Modelos de análise de documentos multimodais podem ajudar a mapear o contexto semântico de elementos textuais e não textuais em um espaço compartilhado.
Na etapa de recuperação de informações, a relevância dos dados recuperados é crítica. Os desenvolvedores podem alinhar consultas com armazenamentos de documentos, usando respostas sintéticas para aumentar a precisão da recuperação. Além disso, na etapa de geração de respostas, o ajuste fino permite que o LLM discernir informações relevantes e ignorar ruídos da base de conhecimento.
Consultas de Fatos Implícitos
Essas consultas exigem que os LLMs raciocinem além da mera recuperação. Por exemplo, um usuário pode perguntar: “Quantos produtos a empresa X vendeu no último trimestre?” ou “Quais são as principais diferenças entre as estratégias da empresa X e da empresa Y?” Essas perguntas necessitam de respostas de múltiplas etapas, envolvendo dados de várias fontes.
A complexidade das consultas de fatos implícitos exige técnicas avançadas de RAG, como Interleaving Retrieval with Chain-of-Thought (IRCoT) e Retrieval Augmented Thought (RAT). Gráficos de conhecimento combinados com LLMs também oferecem um método estruturado para raciocínio complexo, conectando conceitos díspares de forma eficaz.
Consultas de Raciocínio Interpretabi
Essas consultas requerem que os LLMs apliquem regras específicas de domínio juntamente com o conteúdo factual. “Consultas de raciocínio interpretabis representam uma categoria simples que depende de dados externos para os raciocínios,” explicam os pesquisadores. Esse tipo frequentemente envolve diretrizes claras ou processos de pensamento relevantes para problemas específicos.
Um chatbot de atendimento ao cliente, por exemplo, pode precisar integrar protocolos documentados para lidar com devoluções junto ao contexto do cliente. Integrar esses raciocínios aos LLMs pode ser desafiador, exigindo técnicas de ajuste de prompt, incluindo aprendizado por reforço e avaliações otimizadas de prompts.
Consultas de Raciocínio Oculto
Essas representam o maior desafio, pois envolvem métodos de raciocínio embutidos nos dados, mas não explicitados. Por exemplo, o modelo pode precisar analisar dados históricos para extrair padrões aplicáveis a um problema atual. “Navegar por consultas de raciocínio oculto… exige técnicas analíticas sofisticadas para decifrar e aproveitar a sabedoria latente embutida em fontes de dados díspares,” observam os pesquisadores.
Soluções eficazes para essas consultas podem envolver aprendizado em contexto para treinar LLMs a selecionar e extrair informações relevantes. Um ajuste fino específico de domínio também pode ser essencial, permitindo que o modelo envolva-se em raciocínios complexos e discernir quais dados externos são necessários.
Implicações para Construção de Aplicações de LLM
A pesquisa e o framework da Microsoft ilustram a evolução dos LLMs ao utilizarem dados externos para aplicações práticas, destacando também os desafios significativos. As empresas podem aproveitar esse framework para tomar decisões informadas sobre a integração de conhecimento externo em seus LLMs. Embora as técnicas de RAG abordem muitas limitações dos LLMs básicos, os desenvolvedores devem estar conscientes das capacidades e restrições dos métodos escolhidos, atualizando para sistemas mais sofisticados conforme necessário.
Classificação
