A IA revolucionou a forma como as empresas operam e gerenciam dados. Há poucos anos, as equipes precisavam escrever consultas SQL e códigos para extrair insights valiosos de grandes conjuntos de dados. Hoje, basta digitar uma pergunta e deixar que sistemas avançados de modelos de linguagem cuidem do resto, permitindo interações rápidas e intuitivas com os dados.
Apesar das promessas desses novos sistemas de consulta, ainda existem desafios. Os modelos atuais têm dificuldades para lidar com uma ampla gama de consultas, levando pesquisadores da UC Berkeley e de Stanford a desenvolver uma nova solução chamada geração com tábua aumentada (TAG).
O que é Geração com Tábua Aumentada?
A TAG é uma abordagem unificada que melhora as interações entre modelos de linguagem (LMs) e bancos de dados, oferecendo um novo paradigma para aproveitar o conhecimento e as habilidades de raciocínio dos LMs. De acordo com as descobertas dos pesquisadores, a TAG possibilita consultas em linguagem natural mais sofisticadas sobre fontes de dados personalizadas.
Como Funciona a TAG?
Quando os usuários fazem perguntas, são utilizados dois métodos principais: texto-para-SQL e geração aumentada por recuperação (RAG). Embora sejam eficazes até certo ponto, ambos falham em consultas complexas que desafiam suas capacidades. O texto-para-SQL traduz a linguagem natural em consultas SQL, mas abrange apenas um conjunto limitado de questões de álgebra relacional. Por outro lado, a RAG se concentra em buscas pontuais para respostas diretas dentro de alguns registros do banco de dados.
Ambos os métodos frequentemente têm dificuldades com questões que exigem raciocínio semântico ou conhecimento que vai além dos dados em si. Como observado pelos pesquisadores, consultas do mundo real geralmente envolvem misturas complexas de especialização de domínio, conhecimento global e cálculos exatos—áreas em que sistemas tradicionais de bancos de dados se destacam, mas não são suficientes por conta própria.
Para preencher essa lacuna, a abordagem TAG utiliza um modelo de três etapas para consultas conversacionais:
1. Sintetização da Consulta: O LM identifica dados relevantes e converte a entrada em uma consulta executável para o banco de dados.
2. Execução da Consulta: O motor de banco de dados executa a consulta em vastos repositórios de dados e recupera as informações mais pertinentes.
3. Geração da Resposta: Por fim, o LM gera uma resposta em linguagem natural com base nos resultados da consulta executada.
Esse framework inovador permite integrar as capacidades de raciocínio dos modelos de linguagem com a robustez da execução de consultas em banco de dados, possibilitando a consideração de questões complexas que exigem raciocínio semântico aprofundado, conhecimento global e expertise de domínio.
Melhorias de Desempenho com a TAG
Para avaliar a eficácia da TAG, os pesquisadores utilizaram o BIRD, um conjunto de dados projetado para testar capacidades de texto-para-SQL, e adaptaram-no para incluir perguntas que necessitam de raciocínio semântico. Eles avaliaram a TAG em relação a diversos benchmarks, incluindo texto-para-SQL e RAG.
Os resultados mostraram que, enquanto todos os métodos de referência alcançaram níveis de precisão de no máximo 20%, a TAG superou com uma taxa de precisão de 40% ou mais. O modelo TAG escrito à mão respondeu corretamente a 55% das consultas, com uma taxa de sucesso de 65% em comparações de correspondência exata. Em vários tipos de consulta, a TAG demonstrou um desempenho consistente de mais de 50% de precisão, destacando-se especialmente em comparações complexas.
Além disso, as implementações da TAG alcançaram velocidades de execução de consultas três vezes mais rápidas do que as de outros métodos de referência, mostrando o potencial para as empresas unirem IA com capacidades de banco de dados para extrair insights valiosos sem a necessidade de extensos esforços de codificação.
Embora a TAG mostre resultados promissores, mais refinamentos são necessários. A equipe de pesquisa sugere uma exploração adicional em um design eficiente do sistema TAG. Para apoiar experimentações contínuas, o benchmark modificado da TAG foi disponibilizado no GitHub.
Em conclusão, a TAG representa um avanço significativo no âmbito da consulta impulsionada por IA, abrindo caminho para as empresas aprimorarem seus processos de extração de dados e capacidades de tomada de decisão.
Classificação
