Databricks 데이터 및 AI 서밋 2024: 가장 중요한 혁신 공개

Databricks의 연례 정상 회의는 데이터 생태계의 이해관계자들을 위한 생동감 있는 행사로 계속 발전하고 있습니다. 매년 Databricks는 구조적 및 비구조적 데이터 관리의 간소화를 목표로 하는 혁신적인 기술, 파트너십 및 발전을 공개합니다. 올해의 정상 회의 역시 이 전통을 이어가며 인공지능(AI)에 특히 중점을 두었습니다.

CEO Ali Ghodsi는 기조 연설에서 데이터와 AI의 융합에서 선보인 다양한 혁신을 소개하며, Databricks 데이터 지능 플랫폼에서 관리된 데이터 세트를 최적화하려는 회사의 의지를 강화했습니다. 주요 하이라이트는 이미지 생성 모델인 Mosaic AI의 향상과 보다 효율적인 데이터 분석을 위한 생성형 AI 솔루션이 포함되었습니다.

올해 정상 회의의 주요 발표 사항은 다음과 같습니다:

1. Unity Catalog 오픈 소스화

Databricks는 Snowflake의 Polaris Catalog와 경쟁하기 위해 Unity Catalog를 Apache 2.0 라이선스 하에 오픈 소스화했습니다. 이를 통해 다른 기업들이 Iceberg 및 Delta/Hudi와 같은 다양한 데이터 형식을 지원하는 카탈로그를 만들 수 있도록 아키텍처와 코드를 활용할 수 있게 되었습니다. 기조연설 중 실시간으로 코드가 공유되었으며, Snowflake가 다음 90일 내에 비슷한 조치를 취할 것으로 예상됩니다.

2. Mosaic AI의 프로덕션급 시스템 업그레이드

AI 애플리케이션 개발 도구인 Mosaic AI는 신뢰할 수 있는 프로덕션 준비형 복합 AI 시스템을 구축할 수 있도록 주요 기능 개선이 이루어졌습니다. 새로운 기능으로는 Mosaic AI 모델 훈련 제품, AI 에이전트 프레임워크, 평가 프레임워크, AI 도구 카탈로그 및 거버넌스를 위한 AI 게이트웨이가 포함됩니다. AI 도구를 제외한 모든 제공은 공개 미리보기로 이용 가능합니다.

3. 기업을 위한 새로운 텍스트-이미지 모델

Databricks는 기업이 다양한 비즈니스 애플리케이션에 맞춘 고화질 이미지를 생성할 수 있도록 하는 생성형 AI 모델인 Shutterstock ImageAI의 비공식 미리보기를 소개했습니다. 이 모델은 Mosaic AI 및 Shutterstock의 신뢰할 수 있는 이미지 컬렉션으로 사전 훈련되어 있으며, Shutterstock의 이미지 생성기를 통해 접근 가능하며, Mosaic AI를 통해 세부 조정 또는 API를 통해 통합할 수 있습니다.

4. 스마트 분석을 위한 Databricks AI/BI

Databricks는 분석적 인사이트에 대한 접근을 민주화하기 위해 Data Intelligence 플랫폼과 통합된 복합 AI 시스템인 Databricks AI/BI를 출시했습니다. 이 시스템은 AI 에이전트인 대시보드와 Genie를 활용하여 비즈니스 쿼리를 자연어 답변 및 시각화로 해석합니다. 각 에이전트는 계획, SQL 생성 및 시각화와 같은 특정 기능에 집중하며, 응답 순위 및 벡터 색인화와 같은 추가 구성 요소가 지원됩니다. 이 제공은 모든 Databricks SQL Pro 및 서버리스 고객에게 이용 가능하며, 현재 대시보드는 일반 제공 중이며 Genie는 공개 미리보기 단계입니다.

5. 데이터 엔지니어링 간소화를 위한 Databricks LakeFlow

Databricks는 흡입, 변환, 오케스트레이션 등 데이터 엔지니어링의 모든 측면을 통합적으로 간소화하는 LakeFlow를 공개했습니다. LakeFlow는 데이터 파이프라인 구축 및 유지 관리를 자동화하여 전통적으로 복잡한 과정을 단순화하며, CI/CD 및 대규모 품질 검사를 지원합니다. 현재 미리보기 단계는 아니지만, Databricks는 조기 접근을 위한 대기자 명단을 개설했습니다.

6. Nvidia 및 Gretel과의 파트너십

마지막으로 Databricks는 Nvidia 및 Gretel과의 중요한 파트너십을 발표했습니다. Nvidia와의 협업은 CUDA 가속 컴퓨팅에 대한 기본 지원을 Databricks의 차세대 벡터화 쿼리 엔진인 Photon에 통합하여 데이터 웨어하우징 및 분석 작업의 성능을 향상시키는 것을 목표로 하고 있습니다. Gretel과의 파트너십은 이 회사를 ISV 기술 파트너로 지정하며, Databricks 플랫폼에서 기계 학습 모델을 개발하고 맞춤화하기 위한 고품질 합성 데이터 세트를 제공합니다.