Rockset, um fornecedor líder de bancos de dados em tempo real, está aprimorando suas capacidades com a busca vetorial avançada e escalabilidade melhorada. Baseada no armazenamento de chave-valor RocksDB, desenvolvido na Meta (antigo Facebook), a Rockset utiliza uma tecnologia em evolução que viabiliza seus recursos de indexação em tempo real. A empresa já arrecadou um total de US$ 105 milhões em financiamentos, incluindo uma recente rodada de US$ 44 milhões divulgada em agosto.
Com a atualização mais recente, a Rockset está lançando oficialmente a busca vetorial em sua plataforma de banco de dados em tempo real. Essa funcionalidade foi apresentada pela primeira vez em abril e recebeu melhorias significativas nos últimos meses. Adotantes iniciais, como a companhia aérea de baixo custo JetBlue, já relataram implementações bem-sucedidas da tecnologia da Rockset. Juntamente com a atualização da busca vetorial, a Rockset está integrando-se à popular ferramenta LangChain para orquestração de IA e ao framework de dados LlamaIndex.
“A nossa capacidade de busca vetorial agora está disponível para todos e é altamente sofisticada. Você pode criar índices de similaridade usando tecnologia de vizinho próximo aproximado (ANN) em larga escala, com atualizações em tempo real sobre embeddings vetoriais e metadados,” afirmou Venkat Venkataramani, cofundador e CEO da Rockset.
Indexação em Tempo Real para Busca Vetorial
A concorrência no mercado de busca vetorial se intensificou em 2023. Os vetores — representações numéricas de dados — são cruciais para impulsionar grandes modelos de linguagem (LLMs). Diversos bancos de dados vetoriais especializados, como Pinecone e Milvus, surgiram, juntamente com tecnologias de banco de dados estabelecidas como DataStax, MongoDB e Neo4j.
A Rockset visa se destacar no mercado entregando atualizações em tempo real para busca vetorial. À medida que novos dados entram em um banco de dados da Rockset, tanto o índice do banco de dados quanto os embeddings vetoriais são atualizados em tempo real, com latências na faixa de milissegundos de um dígito. Essa eficiência decorre de um modelo de separação de computação que isola os recursos para construção de índice daqueles usados para execução de consultas.
“Na maioria dos bancos de dados vetoriais, as atualizações em tempo real não são possíveis; é necessário reconstruir os índices periodicamente,” explicou Venkataramani.
Aceleração da Busca de Similaridade com ANN
A busca vetorial pode ser realizada utilizando diversos métodos, incluindo o vizinho próximo aproximado (ANN) e as mais precisas técnicas de K Vizinhos Mais Próximos (KNN). Enquanto o ANN fornece resultados aproximados de forma eficiente, o KNN calcula as correspondências exatas, o que pode ser intensivo em recursos para grandes conjuntos de dados.
A Rockset emprega ambas as estratégias KNN e ANN com base na consulta e no contexto do conjunto de dados específicos. A interface SQL permite que os usuários combinem buscas vetoriais com filtros de metadados, com o otimizador da Rockset selecionando automáticamente o melhor método para velocidade.
Devido à sua capacidade de atualização em tempo real, os índices ANN da Rockset refletem os dados mais recentes em meros milissegundos.
A Resistência dos Bancos de Dados Vetoriais
No recente dev day da OpenAI, a empresa anunciou novos serviços que têm potencial para transformar o cenário da IA generativa. As APIs GPT builder e assistant da OpenAI geraram discussões sobre o futuro das tecnologias de bancos de dados vetoriais.
Apesar das especulações no setor, Venkataramani continua confiante na demanda contínua por bancos de dados vetoriais. Ele argumenta que grandes organizações com requisitos elevados de segurança e conformidade não podem depender apenas de serviços de terceiros para suas iniciativas em IA.
"A necessidade por bancos de dados vetoriais não diminuirá, especialmente para conjuntos de dados complexos que impulsionam casos de uso de Geração Aumentada por Recuperação (RAG),” afirmou Venkataramani. Ele enfatizou que, à medida que as aplicações de IA evoluem, a infraestrutura subjacente — os bancos de dados vetoriais — continuará a desempenhar um papel crucial.
“Acredito que os bancos de dados vetoriais vieram para ficar, apoiados por uma variedade de novos casos de uso além apenas de chatbots,” concluiu.
Classificação
