O Google está ampliando sua linha de modelos de IA para enfrentar desafios críticos na área. Hoje, a empresa apresentou o DataGemma, um conjunto de modelos de código aberto ajustados por instruções, projetados para reduzir as alucinações—onde modelos de linguagem extensos (LLMs) geram respostas imprecisas—especificamente em consultas estatísticas.
Disponíveis no Hugging Face para pesquisa e propósitos acadêmicos, esses novos modelos expandem a família Gemma existente, utilizando dados extensivos do mundo real da plataforma Data Commons do Google. Esta plataforma pública abriga um gráfico de conhecimento aberto que compreende mais de 240 bilhões de pontos de dados provenientes de organizações renomadas em diversos setores, incluindo economia, ciência e saúde.
Abordando Alucinações Fatuais
Os LLMs revolucionaram a tecnologia, impulsionando aplicações desde a geração de código até o suporte ao cliente e otimizando o uso de recursos para as empresas. Apesar de seus avanços, o problema das alucinações—especialmente relacionadas a dados numéricos e estatísticos—persiste.
De acordo com pesquisadores do Google, os fatores que contribuem para esse fenômeno incluem a natureza probabilística das saídas dos LLMs e a cobertura fatorial insuficiente nos dados de treinamento. As técnicas tradicionais de ancoragem têm enfrentado dificuldades com consultas estatísticas devido à variedade de esquemas e formatos em dados públicos, exigindo um contexto substancial para uma interpretação precisa.
Para fechar essas lacunas, os pesquisadores integraram o Data Commons, um dos maiores repositórios de dados estatísticos públicos normalizados, com a família de modelos de linguagem Gemma, criando o DataGemma.
Abordagens Inovadoras para Aumentar a Precisão
O DataGemma utiliza dois métodos distintos para melhorar a precisão fática:
1. Geração Intercalada de Recuperação (RIG): Esta abordagem integra a precisão factual comparando a saída original do LLM com estatísticas relevantes do Data Commons. O LLM refinado gera consultas em linguagem natural descritivas, que são convertidas em consultas estruturadas para recuperar respostas estatisticamente relevantes, incluindo citações.
2. Geração Aumentada por Recuperação (RAG): Este método melhora os modelos utilizando perguntas estatísticas originais para extrair variáveis relevantes e formar consultas em linguagem natural direcionadas ao Data Commons. Os dados extraídos, combinados com a pergunta original, são usados para acionar um LLM com longo contexto (neste caso, o Gemini 1.5 Pro) para a geração de respostas precisas.
Resultados Promissores em Testes
Em testes preliminares envolvendo 101 consultas, os modelos DataGemma ajustados com RIG melhoraram a precisão factual em 5-17% em relação à linha de base, alcançando cerca de 58% de precisão. Embora o RAG tenha produzido resultados ligeiramente inferiores, ainda superou os modelos de linha de base.
O DataGemma respondeu com sucesso a 24-29% das consultas utilizando respostas estatísticas do Data Commons, mantendo 99% de precisão com valores numéricos. No entanto, enfrentou desafios ao tirar inferências precisas dos números entre 6-20% das vezes.
Tanto as técnicas RIG quanto RAG demonstram eficácia em aumentar a precisão do modelo para consultas estatísticas, particularmente em contextos de pesquisa e tomada de decisões. O RIG oferece rapidez, enquanto o RAG fornece dados mais extensos, dependendo da disponibilidade de informações e das capacidades de gerenciamento de contexto amplo.
O Google pretende avançar na pesquisa sobre esses métodos por meio do lançamento público do DataGemma com RIG e RAG. A empresa declarou: "Nossa pesquisa está em andamento, e estamos comprometidos em refinar essas metodologias à medida que expandimos esse trabalho, garantindo testes rigorosos e integrando essa funcionalidade aprimorada tanto nos modelos Gemma quanto nos Gemini por meio de uma abordagem faseada de acesso limitado."
Classificação
