Ocient, 하이퍼스케일 데이터 웨어하우스 기능을 강화하여 고급 머신 러닝 지원

거대한 데이터가 있는가 하면 정말 거대한 데이터도 있습니다—수조 개의 데이터 행을 생각해 보십시오. 시카고에 본사를 둔 Ocient는 최첨단 하이퍼스케일 데이터 웨어하우스 기술로 이 분야의 선두주자로 자리 잡고 있습니다.

오늘 Ocient는 지리 공간 분석 및 기계 학습(ML)과 인공지능(AI)을 위한 하이퍼스케일 데이터 플랫폼을 강화하는 새로운 기능을 발표했습니다. 새롭게 추가된 OcientGeo 기능은 종합적인 지리 공간 함수 라이브러리와 전 세계적으로 최적화된 공간 인덱스를 포함합니다. 이를 통해 기업은 방대한 양의 역사적 및 실시간 지리 공간 데이터를 효율적으로 수집하고 분석하여 실행 가능한 인사이트를 생성할 수 있습니다. 통합된 ML 도구는 지리 공간 AI 이니셔티브를 더욱 신속하게 진행할 수 있게 합니다.

Ocient는 최적화된 저장소와 처리 능력을 활용하여 GPU에 의존하지 않고 하이퍼스케일 데이터 요구사항을 충족합니다. “우리의 초점은 하이퍼스케일 작업에 맞춰져 있습니다. 평균적인 Ocient 쿼리—SQL이든 기계 학습이든 지리 공간이든—보면 보통 1조 개의 요소를 다루고 있습니다,”라고 Ocient CEO Chris Gladwin은 밝혔습니다.

하이퍼스케일 데이터 분석: GPU를 넘어서

많은 조직이 GPU를 통해 성능을 최적화하는 반면, Ocient는 다른 전략을 채택하고 있습니다. “우리의 성공 비결은 비범한 수준의 병렬 처리에 있습니다,”라고 Gladwin은 설명했습니다. “스택의 모든 계층에서 백만 개 이상의 병렬 작업이 동시에 진행되는 것은 드문 일이 아닙니다.”

Ocient는 데이터 웨어하우스 내에서 이러한 광범위한 병렬 처리를 달성하기 위해 흐름에 중점을 둡니다. Gladwin은 클러스터링, 회귀 및 분류를 위한 기계 학습 알고리즘에서 제한 사항이 CPU 계산 작업이 아닌 계산 밀도에서 주로 발생한다고 언급했습니다—즉, 데이터 1TB당 더 큰 처리 능력이 필요합니다.

주요 도전 과제는 저장소와 메모리를 포함한 컴퓨팅 스택 전반에 걸쳐 충분한 처리량을 보장하는 것입니다. 이는 Ocient의 기술 혁신의 핵심으로, 회사는 메모리와 고속 SSD 저장 시스템 최적화에 전문성을 가지고 있습니다. “우리 엔지니어들은 GPU의 장점을 알고 하지만, 우리는 그들의 필요성을 느끼지 못했습니다,”라고 Gladwin은 언급했습니다.

하이퍼스케일 환경에서의 기계 학습: OcientML

Ocient의 데이터 웨어하우스는 처음에 SQL 데이터 쿼리에 집중했으며, 이제 광범위한 데이터 세트에 대한 신속한 분석을 가능하게 하는 동일한 아키텍처 장점이 OcientML 및 OcientGeo를 뒷받침하고 있습니다.

Gladwin은 OcientML이 고객이 수십억에서 수조 개의 데이터 포인트를 포함하는 데이터 세트에서 기계 학습을 실행할 수 있게 해주며, 경쟁 제품에 비해 뛰어난 가격 대비 성능을 제공한다고 강조했습니다. 워크로드 관리와 같은 기능이 다양한 하이퍼스케일 쿼리와 분석 간의 공정한 자원 접근을 보장합니다. 또한, OcientML은 Ocient 하이퍼스케일 데이터 웨어하우스에 통합되어 데이터를 별도의 플랫폼으로 추출, 변환 및 로드할 필요를 없앱니다.

OcientML의 장점으로는 역사적 및 현재 데이터와의 완전한 상호작용을 통한 모델 정확성 향상, 불필요한 데이터 이동을 없애는 것을 통한 신속한 반복, SQL과 ML을 통합된 시스템에서 관리함으로써 운영을 간소화하는 것을 들 수 있습니다.

OcientGeo도 유사한 접근 방식을 따르며, Ocient 하이퍼스케일 데이터 웨어하우스에 통합되어 플랫폼의 광범위한 병렬화를 활용합니다. OcientGeo를 통해 사용자는 대규모 데이터 추출 없이 Ocient 환경 내에서 방대한 데이터 세트에 대한 지리 공간 쿼리와 분석을 수행할 수 있으며, 이는 수조 개의 데이터 포인트를 포함하는 지리 공간 쿼리를 몇 초 안에 실행할 수 있게 합니다.

“우리는 이제 하이퍼스케일 분석의 가격과 성능을 10배 이상 향상시켜 가능해질 새로운 애플리케이션을 탐색하기 시작했습니다,”라고 Gladwin은 결론지었습니다.