Rockset улучшает функции ИИ для оптимизации поиска в векторных базах данных.

Rockset, ведущий поставщик баз данных в реальном времени, улучшает свои возможности с помощью расширенного векторного поиска и повышенной масштабируемости. Основанная на открытом исходном коде RocksDB, разработанном в Meta (ранее Facebook), Rockset использует постоянно эволюционирующую технологию, которая позволяет реализовывать функции индексации в реальном времени. Компания привлекла в общей сложности 105 миллионов долларов финансирования, включая недавний раунд в 44 миллиона долларов, объявленный в августе.

С последним обновлением Rockset полностью запускает векторный поиск в своей платформе баз данных в реальном времени. Эта функция впервые была показана в апреле и за последние месяцы значительно улучшилась. Ранние пользователи, такие как бюджетная авиакомпания JetBlue, уже сообщают о успешных внедрениях технологий Rockset. Вместе с обновлением векторного поиска Rockset также интегрируется с популярным инструментом LangChain для оркестрации ИИ и фреймворком данных LlamaIndex.

«Наши возможности векторного поиска теперь доступны и являются высокоразвитыми. Вы можете создавать индексы схожести, используя технологии близких соседей (ANN) в огромных масштабах, с обновлениями в реальном времени для векторных вложений и метаданных», — сказал Венкат Венкатарамани, соучредитель и CEO Rockset.

Индексация в реальном времени для векторного поиска

Конкуренция на рынке векторного поиска усилилась в 2023 году. Векторы — числовые представления данных — имеют ключевое значение для работы крупных языковых моделей (LLM). Появилось множество специализированных векторных баз данных, таких как Pinecone и Milvus, наряду с уже зарекомендовавшими себя технологиями баз данных, такими как DataStax, MongoDB и Neo4j.

Rockset стремится выделиться на рынке, предоставляя обновления в реальном времени для векторного поиска. По мере появления новых данных в базе данных Rockset и индекс базы данных, и векторные вложения обновляются в реальном времени с задержками в миллисекундах. Эта эффективность достигается благодаря модели отделения вычислений, которая изолирует ресурсы для построения индексов от тех, которые используются для выполнения запросов.

«В большинстве векторных баз данных обновления в реальном времени невозможны; они требуют периодического восстановления индексов», — объяснил Венкатарамани.

Ускорение поиска схожести векторов ANN

Векторный поиск можно выполнять различными методами, включая приближенный поиск ближайшего соседа (ANN) и более точные методы K ближайших соседей (KNN). В то время как ANN предоставляет приблизительные результаты эффективно, KNN вычисляет точные лучшие совпадения, что может быть ресурсоемким для больших наборов данных.

Rockset применяет как KNN, так и ANN стратегии в зависимости от конкретного запроса и контекста набора данных. SQL интерфейс позволяет пользователям комбинировать векторные поиски с фильтрами метаданных, при этом оптимизатор Rockset автоматически выбирает лучший метод для быстроты.

Благодаря своей способности к обновлению в реальном времени, индексы ANN Rockset отражают последние данные всего за несколько миллисекунд.

Устойчивость векторных баз данных

На недавнем дне разработчиков OpenAI компания объявила о новых услугах, которые могут изменить ландшафт генеративного ИИ. APIs для создания и помощника GPT от OpenAI вызвали дискуссии о будущем технологий векторных баз данных.

Несмотря на спекуляции в отрасли, Венкатарамани остаётся уверенным в постоянном спросе на векторные базы данных. Он утверждает, что крупные организации с высокими требованиями к безопасности и соблюдению норм не могут полагаться исключительно на сторонние услуги для своих ИИ инициатив.

«Необходимость в векторных базах данных не уменьшится, особенно для сложных наборов данных, которые обеспечивают сценарии генерации, дополненной извлечением (RAG)», — заявил Венкатарамани. Он подчеркнул, что по мере эволюции ИИ приложений инфраструктура на основе векторных баз данных продолжит играть ключевую роль.

«Я уверен, что векторные базы данных здесь, чтобы остаться, поддерживаемые разнообразными развивающимися сценариями за пределами чат-ботов», — заключил он.