스노우플레이크, 메타플레인과 협력해 AI 개발의 데이터 품질 문제 해결

오늘 Snowflake는 데이터 품질 문제를 해결하는 AI 기반 플랫폼을 제공하는 보스턴 스타트업 Metaplane에 대한 투자를 발표했습니다. 투자 금액은 공개되지 않았지만, Snowflake는 이번 파트너십을 통해 Metaplane의 데이터 가시성 도구와 Snowflake Data Cloud 간의 통합이 강화될 것이라고 밝혔습니다. 이 통합은 Snowflake 사용자가 인공지능 애플리케이션을 포함한 하류 프로젝트에 필요한 정보를 효과적으로 모니터링할 수 있도록 합니다.

Metaplane은 Monte Carlo와 Acceldata와 같은 자금이 풍부한 경쟁자들과 맞서는 도전에 나섰습니다. Snowflake는 Metaplane이 자사 플랫폼을 위한 네이티브 앱도 출시할 것임을 확인했습니다. 이는 올해 Snowflake의 다섯 번째 투자이며, 가시성 분야에서는 두 번째 투자입니다. 지난 3월에는 Observe라는 툴에 자금을 지원하여 기업 애플리케이션에서 수집한 원거리 데이터를 분석해 신속한 사건 해결을 위한 인사이트를 제공합니다.

Metaplane은 현대 비즈니스 애플리케이션, 특히 RAG 기반 AI 챗봇에 필수적인 데이터 품질을 유지하는 데 도움을 줍니다. 많은 기업들이 다양한 분리된 시스템, 데이터베이스 및 애플리케이션에 걸쳐 방대한 양의 데이터로 인해 데이터 품질을 유지하는 데 어려움을 겪고 있습니다. 복잡한 데이터 파이프라인을 관리하면 수백, 수천 개의 데이터 소스를 처리해야 합니다.

MIT 졸업생 Kevin Hu, 전 HubSpot 엔지니어 Peter Casinelli, 전 Appcues 개발자 Guru Mahendran이 설립한 Metaplane은 데이터 스택 전반에 AI를 활용하여 이러한 문제를 해결합니다. 이 플랫폼은 Fivetran, Snowflake, BigQuery, dbt, Airflow, Tableau와 같은 도구와 통합됩니다. 머신 러닝 모델을 활용해 전체 데이터 프로파일을 학습하고, 설정 후 사용자 정의 모니터를 기반으로 스키마 변경 등을 자동으로 탐지합니다.

Hu는 모니터 설정이 단 15분밖에 걸리지 않아 팀이 데이터 품질 지표를 추적할 수 있다고 언급했습니다. 알림은 관련 데이터 팀에게 선호하는 커뮤니케이션 채널을 통해 직접 전송됩니다.

Snowflake의 투자로 Metaplane은 Snowflake Data Cloud과의 통합을 강화하고, 포괄적인 텔레메트리 및 메타데이터 기능을 추가할 예정입니다. 이 통합은 전체 데이터 파이프라인을 포함하며, Snowpark, Snowpark Container Services, Snowflake Native Apps 및 Streamlit과 같은 애플리케이션 기능과 연결됩니다. 궁극적으로 이 협력은 Snowflake 고객이 데이터 자산의 품질을 철저히 모니터링하고, 문제와 잠재적 원인 및 해결책을 인지할 수 있도록 합니다.

이 통합의 구체적인 일정은 아직 정해지지 않았지만, Snowflake는 Metaplane이 Data Cloud 내에서 네이티브 앱을 출시할 것이라고 확인했습니다. 이를 통해 사용자는 Metaplane을 Snowflake 인스턴스 내에서 직접 배포하고 관리할 수 있으며, 다른 도구와 달리 Snowflake를 별도로 연결할 필요가 없습니다.

“이 발전은 풍부한 경험을 제공하고 고객이 Metaplane을 완전히 활용할 수 있는 기회를 엽니다.”라고 Snowflake 제품 관리팀의 Ashwin Kamath와 Harsha Kapre가 밝혔습니다.

Snowflake의 AI 중심 전략

CEO Sridhar Ramaswamy의 지도 아래, Snowflake는 Databricks와의 경쟁을 위해 AI를 적극적으로 수용하고 있습니다. 지난해 Snowday 행사에서 Snowflake는 Snowflake Data Cloud에 저장된 데이터를 활용해 생성적 AI 애플리케이션을 구축할 수 있는 완전 관리형 서비스인 Cortex를 출시했습니다. 이후 여러 오픈 소스 AI 공급업체와 파트너십을 통해 Cortex에서 이들의 모델을 제공하여 다양한 사용 사례를 위한 애플리케이션 개발을 지원했습니다. Snowflake는 또한 복잡한 기업 업무에 최적화된 자체 대형 언어 모델인 Arctic을 학습하고, 데이터 탐색을 지원하는 공동 비서 경험을 도입했습니다.

Metaplane에 대한 투자 이전에 Snowflake는 데이터와 AI 이니셔티브를 강화하기 위해 Coda, Coalesce, Observe, Landing AI 등 네 개의 다른 회사에도 이미 투자를 진행했습니다.