Google улучшает BigQuery с помощью Gemini: новая поддержка векторов для облачных баз данных

Google улучшает свои платформы данных и аналитики, чтобы дать разработчикам и организациям возможности генеративного ИИ. В 2024 году Google представил несколько обновлений для своей языковой модели Gemini, расширив её функционал. Недавно компания объявила о интеграции моделей Gemini в сервис аналитики BigQuery, а также о новых функциях для подготовки данных с помощью ИИ и генерации с дополнением поиска (RAG). Кроме того, Google значительно увеличивает свои возможности ИИ в области баз данных, введя поддержку векторного поиска во всех облачных базах данных.

«Мы считаем, что векторная индексация и векторный поиск должны быть основой каждой базы данных», — сказал Анди Гутманс, управляющий директор и вице-президент по базам данных в Google Cloud. «Базы данных играют ключевую роль в эффективной генерации с дополнением поиска и максимизации преимуществ ИИ в предприятиях».

Векторный поиск теперь доступен во всех базах данных Google. Хотя Google ранее предлагал поддержку векторов в некоторых базах данных, теперь эта функция распространяется на все его предложения. База данных Google AlloyDB, уже продемонстрировавшая возможности векторного поиска и ИИ, теперь доступна для общего использования. Кроме того, сервис Google Vertex AI Vector Search, специализированная векторная база данных, дополняет эти усовершенствования.

Новые возможности включают предварительную поддержку векторов в ин-мемори хранилище Memorystore для Redis, CloudSQL, реляционных базах данных Spanner, документной базе данных Firestore и базе данных ключ-значение Bigtable. Интеграция векторного поиска во все базы данных Google требует значительных инженерных усилий. Гутманс отметил, что для AlloyDB, основанной на открытой платформе PostgreSQL, Google использовал технологию pgvector для реализации поддержки векторов. Тем не менее, компания проделала обширную работу по оптимизации производительности и функций для пользователей.

«Мы должны внедрять инновации в различных рабочих процессах, адаптированных к каждой базе данных с учётом их архитектурных нюансов», — подчеркнул Гутманс. Для эффективного выполнения запросов с использованием векторного поиска базе данных обычно требуется дополнительная индексация. Гутманс выделил, что сила Google заключается в создании индексов, способных работать с векторами, основываясь на многолетнем опыте масштабирования крупных сервисов.

«Работая на таком масштабе, мы глубоко понимаем возможности векторов, использовав их внутри нашей рекламы и поисковых подразделений на протяжении более десяти лет», — пояснил он.

BigQuery улучшен с помощью моделей Gemini Pro. В области аналитики Google усиливает BigQuery поддержкой своих новейших моделей Gemini Pro. «Это открывает новый спектр аналитических сценариев», — заявил Геррит Казмейер, GM и вице-президент по аналитике данных в Google Cloud, на недавней пресс-конференции.

Эти расширенные возможности включают улучшение суммирования, извлечение тональности, классификацию, обогащение и перевод как структурированных, так и неструктурированных данных. Казмейер подчеркнул, что многие корпоративные данные остаются недоиспользованными, особенно неструктурированные данные. «С Gemini Pro и BigQuery пользователи теперь могут бесшовно анализировать богатые неструктурированные данные наряду со структурированными», — добавил он.