Hoje, a Databricks anunciou o lançamento de novas ferramentas de geração aumentada por recuperação (RAG) em sua Plataforma de Inteligência de Dados. Essas ferramentas foram desenvolvidas para auxiliar empresas na construção, implantação e manutenção de aplicações de modelos de linguagem de grande escala (LLM) de alta qualidade, adaptadas a diversos casos de uso.
Agora disponíveis em pré-visualização pública, essas ferramentas enfrentam desafios significativos no desenvolvimento de aplicações RAG prontas para produção. Elas simplificam o processo de integração de dados relevantes em tempo real de diferentes fontes com os modelos apropriados, ao mesmo tempo em que possibilitam o monitoramento eficaz de aplicações em relação a problemas como toxicidade, que afetam com frequência os LLMs.
Craig Wiley, Diretor Sênior de Produtos de AI/ML na Databricks, enfatizou a urgência no desenvolvimento de aplicativos RAG: "As organizações enfrentam dificuldades para entregar soluções que produzam respostas precisas e de alta qualidade de forma consistente, enquanto implementam salvaguardas para prevenir saídas indesejadas."
Compreendendo RAG e Seus Desafios
Embora os LLMs estejam ganhando popularidade, muitos modelos existentes dependem de conhecimento parametrizado, limitando sua capacidade de fornecer respostas atualizadas e contextuais, especialmente para necessidades internas de negócios. A geração aumentada por recuperação (RAG) aborda isso aproveitando fontes de dados específicas para melhorar a precisão e a confiabilidade das respostas do modelo. Por exemplo, um modelo treinado com dados de RH pode ajudar os funcionários em diversas consultas.
RAG envolve várias tarefas complexas, como a coleta e preparação de dados estruturados e não estruturados de múltiplas fontes, seleção de modelos, engenharia de prompt e monitoramento contínuo. Essa abordagem fragmentada muitas vezes resulta em aplicações RAG de baixo desempenho.
Como a Databricks Está Liderando o Caminho
As novas ferramentas RAG da Databricks integram diversos processos, permitindo que as equipes prototipem e implementem rapidamente aplicações RAG de qualidade. Recursos como busca vetorial e fornecimento de características eliminam a necessidade de construir pipelines de dados complicados, pois os dados estruturados e não estruturados das tabelas Delta se sincronizam perfeitamente com a aplicação LLM. Isso garante acesso às informações de negócios mais recentes e relevantes para respostas precisas e cientes do contexto.
"O Unity Catalog rastreia automaticamente a linhagem entre conjuntos de dados offline e online, simplificando a verificação de problemas de qualidade dos dados e aplicando configurações de controle de acesso para uma melhor governança dos dados", observaram Patrick Wendell, cofundador da Databricks e VP de Engenharia, e Hanlin Tang, CTO de Redes Neurais.
Além disso, os desenvolvedores podem utilizar o playground de IA unificado e a avaliação MLFlow para avaliar modelos de diversos provedores, incluindo Azure OpenAI Service, AWS Bedrock e opções de código aberto como Llama 2 e MPT. Essa flexibilidade permite que as equipes implementem projetos com modelos de melhor desempenho e mais econômicos, mantendo a opção de migrar para soluções aprimoradas à medida que se tornem disponíveis.
Capacidades Avançadas de Monitoramento
Após a implantação de uma aplicação RAG, monitorar seu desempenho em escala é crucial. A Databricks oferece uma capacidade de Monitoramento de Lakehouse totalmente gerenciada que escaneia automaticamente as respostas da aplicação em busca de toxicidade, alucinações ou qualquer conteúdo inseguro. Essa detecção proativa alimenta dashboards, sistemas de alerta e pipelines de dados, permitindo que as equipes tomem ações corretivas rapidamente. O recurso integra-se à linhagem de modelo e conjunto de dados, facilitando a identificação rápida de erros e suas causas.
Sucesso na Adoção Inicial
Embora as novas ferramentas tenham sido recentemente lançadas, empresas como o fornecedor RV Lippert e a EQT Corporation já estão testando suas capacidades na plataforma de Inteligência de Dados da Databricks. Chris Nishnick, responsável pelos esforços de dados e IA na Lippert, compartilhou: "A Databricks aprimora nossas operações de call center ao integrar diversas fontes de conteúdo em nossa Busca Vetorial, garantindo que os agentes tenham o conhecimento que precisam ao alcance das mãos. Essa abordagem inovadora melhora significativamente a eficiência e o suporte ao cliente."
Internamente, a Databricks também está implantando aplicações RAG. Segundo Wiley, a equipe de TI da empresa está testando um RAG Slackbot para executivos de contas e um plugin de navegador para representantes de desenvolvimento de vendas.
Reconhecendo a crescente demanda por aplicações especializadas em LLM, a Databricks planeja investir significativamente em sua suíte de ferramentas RAG. O objetivo é capacitar os clientes a implantar aplicações de LLM de alta qualidade em grande escala, com um compromisso contínuo com a pesquisa e inovações futuras nesta área.
Classificação
