오늘 몬태나에 본사를 둔 데이터 서비스 및 클라우드 스토리지 제공업체 Snowflake가 Cortex라는 새로운 완전 관리형 서비스를 발표했습니다. Cortex는 대규모 언어 모델(LLM)을 Snowflake 데이터 클라우드에 통합하여 기업이 데이터를 분석하고 다양한 비즈니스 사례에 맞는 애플리케이션을 개발할 수 있도록 돕습니다.
Snowday 연례 행사에서 공개된 Cortex는 Snowflake 데이터 클라우드를 사용하는 기업에 오픈 소스 LLM을 포함한 AI 도구 세트를 제공합니다. Snowflake의 AI 수석 부사장 Sridhar Ramaswamy는 "Snowflake Cortex를 통해 기업은 대규모 언어 모델을 신속하게 활용하고, 맞춤형 LLM 기반 애플리케이션을 몇 분 안에 구축하며, 데이터에 대한 유연성과 통제를 유지할 수 있습니다. 이는 비즈니스 성장을 위한 생성형 AI 활용 방식을 변화시킵니다."라고 말했습니다.
Cortex는 오늘부터 비공식 미리보기 버전으로 제공되며, 데이터 클라우드 내 특정 기능을 향상시키기 위한 다양한 작업 전용 모델을 포함합니다. Snowflake는 이 서비스를 Snowflake Copilot, Universal Search, Document AI 등 세 가지 생성형 AI 도구에 활용할 계획입니다.
Cortex로 LLM 애플리케이션 구축하기
생성형 AI의 adoption에 대한 기업들의 열망이 높지만, 기술 구현의 복잡성으로 어려움을 겪는 경우가 많습니다. 전문 인력 확보와 복잡한 GPU 인프라 관리가 필수적이기 때문입니다. Snowflake Cortex는 이러한 과정을 단순화하는 것을 목표로 합니다.
이 서비스는 사용자가 간단한 SQL 또는 Python 호출로 접근하여 기능적 AI 애플리케이션을 Cortex의 최적화된 인프라에서 쉽게 시작할 수 있도록 다양한 서버리스 AI 기능을 제공합니다.
Snowflake Cortex 아키텍처
특수 기능은 자연어 입력을 통해 특정 분석 작업을 지원하기 위해 언어 및 기계 학습 모델을 활용합니다. 이 모델들은 데이터 요약, 언어 번역 및 예상치 분석을 포함하여 질문에 대한 답변을 추출할 수 있습니다. 반면, 일반 목적 기능은 Llama 2와 같은 오픈소스 LLM에서 Snowflake의 독자적 모델까지 다양한 모델을 개발자에게 제공합니다.
특히, 이러한 일반 목적 기능은 벡터 임베딩 및 검색 기능을 포함하여 사용자가 자신의 데이터를 기반으로 응답을 맥락화하고 맞춤형 애플리케이션을 만들 수 있게 합니다. Streamlit을 통해 이러한 사용 사례를 지원합니다. Ramaswamy는 "사용자들은 리소스를 별도로 준비할 필요가 없습니다. 우리는 API처럼 프로비저닝과 배포를 수행하며, OpenAI의 제품과 유사하지만 완전히 Snowflake 내에서 이루어집니다."라고 강조했습니다.
또한, Extensive한 프로그래밍 기술이 필요하지 않으며 사용자는 SQL 환경에서 작업을 수행할 수 있습니다.
Cortex에 의해 구동되는 네이티브 LLM 경험
Cortex가 기업 사용을 위해 발표된 만큼, Snowflake는 이미 세 가지 Cortex 기반 기능인 Snowflake Copilot, Universal Search, Document AI의 비공식 미리보기로 플랫폼 강화를 진행하고 있습니다.
Snowflake Copilot은 사용자가 자연어로 질문을 하고 SQL 쿼리를 작성하고 수정하며 인사이트를 추출할 수 있는 대화형 도우미 역할을 합니다. Universal Search는 LLM 기반 검색 기능을 통합하여 사용자가 신속하게 관련 데이터를 발견할 수 있도록 합니다. Document AI는 Snowflake 데이터 클라우드에 저장된 비정형 문서에서 정보를 추출하도록 지원합니다.
데이터 업계의 다른 기업인 Databricks도 유사한 기능을 제공하며, 최근 LakehouseIQ를 출시하여 Snowflake와의 경쟁을 강화하고 있습니다. Informatica와 Dremio도 자연어로 데이터를 관리하고 쿼리할 수 있는 LLM 솔루션을 제공하고 있습니다.
Snowday 2023에서의 추가 발표
Cortex 외에도 Snowflake는 Iceberg Tables의 발전을 발표하여 사용자가 데이터 사일로를 제거하고 클라우드 내 정보를 통합할 수 있는 방법을 선보였습니다. Horizon 거버넌스 솔루션에 대한 새로운 기능도 공개되어 데이터 품질 모니터링, 데이터 계보 시각화 개선, 분류 강화 및 크로스 클라우드 보안 및 규정 준수를 위한 신뢰 센터를 포함합니다.
마지막으로, Snowflake는 초기 단계 스타트업에 최대 1억 달러를 투자하는 자금 지원 계획을 발표했습니다. 이 initiative는 Altimeter Capital, Amplify Partners, Menlo Ventures 등 여러 기업의 지원을 받습니다.
순위 목록
