구글 클라우드, 기업 생성 AI 애플리케이션에 검색 및 유튜브 기술 통합

생성적 AI의 발전에 따라 기업들은 기본 챗봇만으로는 충분하지 않다는 것을 깨닫게 될 것입니다. 클라우드 하이퍼스케일러들은 운영 데이터를 신속하고 효율적으로 배포할 수 있도록 데이터베이스와 도구를 빠르게 강화하고 있으며, 이는 기업들이 지능적이고 맥락을 고려한 애플리케이션을 만들 수 있도록 지원합니다.

구글 클라우드의 최근 데이터베이스 업데이트, 특히 AlloyDB의 사례가 있습니다. 구글은 최근 블로그 포스트에서 완전 관리형 PostgreSQL 호환 데이터베이스가 ScaNN(스케일러블 최근접 이웃) 벡터 인덱스의 일반 제공을 시작했다고 발표했습니다. 이 기술은 구글 검색과 유튜브의 기반 기술로, 인덱스 생성과 벡터 쿼리를 더 빠르게 진행하면서 메모리 소비를 크게 줄입니다.

게다가 구글은 Aiven과 협력하여 AlloyDB의 관리형 배포를 제공하고, Memorystore for Valkey와 Firebase에 대한 업데이트를 도입했습니다.

ScaNN의 가치 이해하기

벡터 데이터베이스는 RAG 챗봇에서 추천 시스템까지 고급 AI 워크로드를 지원하는 데 필수적입니다. 이들은 벡터 임베딩(숫자 데이터 표현)을 저장 및 관리하고, 목표 애플리케이션을 위한 유사성 검색을 수행하는 데 뛰어납니다. 전 세계 개발자들 사이에서 PostgreSQL이 선호되는 데이터베이스인 만큼, 그 벡터 검색 확장 프로그램인 pgvector도 큰 인기를 끌고 있습니다. 구글 클라우드는 AlloyDB에서 이 기능을 지원하며, 벡터 작업을 위해 HNSW(계층적 탐색 가능한 소규모 세계)라는 최첨단 그래프 기반 알고리즘을 사용합니다. 그러나 HNSW의 성능은 매우 큰 벡터 워크로드에서는 저하될 수 있어 응용 프로그램 지연과 메모리 사용 증가를 초래할 수 있습니다.

이러한 문제를 해결하기 위해 구글 클라우드는 AlloyDB에서 ScaNN 벡터 인덱스를 제공하고 있습니다. 이 혁신적인 인덱스는 구글 검색과 유튜브의 기술을 활용하여, 최대 4배 빠른 벡터 쿼리와 8배 빠른 인덱스 생성을 가능하게 하며, 표준 HNSW 인덱스보다 3-4배 적은 메모리를 소모합니다. "ScaNN 인덱스는 10억 개 이상의 벡터를 지원할 수 있는 첫 번째 PostgreSQL 호환 인덱스로, 뛰어난 쿼리 성능을 제공하여 어떤 기업 등 고성능 워크로드를 가능하게 합니다."라고 구글 클라우드 데이터베이스 부문 GM이자 VP인 Andi Gutmans가 말했습니다.

Gutmans는 AlloyDB의 다운로드 버전인 AlloyDB Omni가 Aiven과의 협력을 통해 관리형 서비스로 제공될 예정이며, 이를 통해 온프레미스나 클라우드 환경에서 배포할 수 있다고 발표했습니다. "클라우드에서 거래, 분석 및 벡터 워크로드를 하나의 플랫폼에서 실행하며, 필요에 따라 생성적 AI 애플리케이션을 쉽게 구축하세요."라고 그는 덧붙였습니다.

Memorystore for Valkey와 Firebase의 개선 사항

또한 구글 클라우드는 Valkey의 관리형 클러스터인 Memorystore for Valkey와 Firebase 애플리케이션 개발 플랫폼에 대한 업그레이드를 소개했습니다. Valkey는 이제 벡터 검색 기능을 포함하여, 단일 사례에서 10억 개의 벡터에 대해 단자릿수 밀리초 대기 시간을 가지고 유사성 검색을 수행할 수 있으며, 99% 이상의 재현율을 달성합니다. 차기 버전인 Memorystore for Valkey 8.0은 현재 공개 미리보기 중이며, Memorystore for Redis 클러스터와 비교하여 2배 더 빠른 쿼리 속도와 새로운 복제 방식, 네트워킹 개선, 성능 가시성을 강화했습니다.

Firebase를 위해 구글 클라우드는 Cloud SQL 기반의 완전 관리형 PostgreSQL 데이터베이스와 통합된 백엔드 서비스인 데이터 커넥트를 이 연말 공개 예정입니다.

이러한 혁신을 통해 구글 클라우드는 개발자들에게 광범위한 인프라 및 데이터베이스 옵션과 강력한 언어 모델을 결합하여, 자신들의 조직을 위한 지능형 애플리케이션을 만들 수 있도록 지원할 계획입니다. 생성적 AI 애플리케이션의 수요가 급격히 증가할 것으로 예상되는 가운데, Omdia는 시장이 2023년 62억 달러에서 2028년 585억 달러로 확대되어 연평균 성장률 56%를 기록할 것으로 추정하고 있습니다.