Enquanto os bancos de dados vetoriais se tornam essenciais nas implementações de IA corporativa para Geração Aumentada por Recuperação (RAG), o verdadeiro desafio está na gestão eficaz de dados não estruturados.
Chris Latimer, cofundador e CEO da Vectorize, anteriormente liderou iniciativas em nuvem na DataStax. Ele observou um problema comum: o banco de dados vetorial em si não era o principal obstáculo na implementação de RAG nas empresas. Em vez disso, a dificuldade residia na otimização da ingestão de dados não estruturados no banco de dados vetorial para beneficiar a IA generativa.
Em resposta, Latimer lançou a Vectorize há dez meses para enfrentar esse desafio. A empresa agora anunciou uma rodada de financiamento semente de 3,6 milhões de dólares, liderada pela True Ventures, juntamente com a disponibilidade geral de sua plataforma de RAG para empresas. Essa plataforma facilita uma abordagem RAG autônoma, permitindo uma capacidade de dados quase em tempo real. A Vectorize foca na engenharia de dados, ajudando organizações a preparar e gerenciar seus dados para bancos de dados vetoriais e grandes modelos de linguagem (LLMs). Além disso, permite que as empresas construam rapidamente um pipeline de dados RAG através de uma interface intuitiva e conta com uma ferramenta de avaliação de RAG para testar várias estratégias.
“Constatamos consistentemente que, nas etapas finais dos projetos de IA Gen, os resultados muitas vezes ficavam aquém das expectativas”, observou Latimer em uma entrevista exclusiva. “O contexto fornecido ao banco de dados vetorial não era útil para o modelo de linguagem grande, levando a alucinações e interpretações errôneas dos dados.”
Como a Vectorize se Integra na Pilha RAG Empresarial
A Vectorize não é um banco de dados vetorial; é uma plataforma que conecta fontes de dados não estruturados a bancos de dados vetoriais existentes, como Pinecone, DataStax, Couchbase e Elastic. Ela ingere e otimiza dados de diversas fontes, garantindo um pipeline de dados pronto para produção que abrange ingestão, sincronização, tratamento de erros e melhores práticas em engenharia de dados.
Adicionalmente, a Vectorize não é uma tecnologia de incorporação vetorial. Em vez disso, apoia os usuários na avaliação de diferentes modelos de incorporação e métodos de fragmentação de dados para descobrir a configuração ótima para seus casos de uso específicos. Latimer destacou a flexibilidade da plataforma, permitindo que os usuários escolham entre diversos modelos de incorporação, incluindo os embeddings Ada da OpenAI e Voyage AI utilizados pela Snowflake.
“Focamos em estratégias inovadoras de vetorização de dados para obter os melhores resultados”, disse Latimer, enfatizando que a plataforma fornece uma solução pronta para produção, aliviando preocupações com a engenharia de dados.
Aproveitando a IA Agente para RAG Empresarial
Um recurso destacado da Vectorize é sua abordagem “RAG agente”, que combina métodos tradicionais de RAG com capacidades de agentes de IA, promovendo resolução autônoma de problemas. A Groq, uma adotante precoce e startup de silício para inferência de IA que levantou recentemente 640 milhões de dólares, utiliza as capacidades RAG agentes da Vectorize para aprimorar um agente de suporte de IA. Esse agente pode resolver autonomamente consultas de clientes, utilizando dados e contexto dos pipelines da Vectorize.
Latimer explicou: “Se um cliente fizer uma pergunta recorrente, o agente deve resolver a questão de forma eficiente, sem intervenção humana. No entanto, se encontrar um problema mais complexo, deve escalar para um humano, representando a essência de uma arquitetura de agente de IA.”
A Importância de Pipelines de Dados em Tempo Real no RAG Empresarial
Para as empresas, uma vantagem significativa de utilizar RAG é o acesso a dados atualizados. “Dados obsoletos resultam em decisões ruins”, alertou Latimer. A Vectorize oferece capacidades de atualização de dados em tempo real e quase em tempo real, permitindo que os clientes personalizem suas preferências de frescor de dados.
“Capacitamos os usuários a configurarem a plataforma de acordo com seus níveis aceitáveis de obsolescência dos dados”, disse. “Seja exigindo atualizações semanais ou em tempo real, nossa plataforma pode atender a essas necessidades, fornecendo atualizações oportunas à medida que os dados se tornam disponíveis.”