인공지능(AI)의 급속한 발전은 데이터 준비, 대용량 데이터셋 관리, 데이터 품질 보장, 긴 쿼리와 배치 프로세스의 비효율성 등 많은 도전을 안고 있습니다. 이번 VB 스포트라이트에서는 NVIDIA의 수석 제품 아키텍트인 윌리엄 벤튼과 다른 전문가들이 현재 조직이 분석 프로세스를 어떻게 효율화할 수 있는지 공유합니다.
AI의 혁신적인 잠재력은 종종 복잡한 분석과 쿼리에서의 통찰을 얻기 위한 긴 대기 시간으로 인해 저해됩니다.
SQream의 수익 책임자인 데보라 레프는 “모두가 대기 시간이 있는 대시보드와 마주해보았을 것”이라며, “복잡한 쿼리의 경우, 중요한 통찰을 얻기 위해 몇 시간, 심지어 며칠을 기다릴 수 있다”고 말합니다.
최근 VB 스포트라이트 행사에서 레프는 벤튼, 데이터 과학자 티안후이 “마이클” 리와 함께 엔터프라이즈 데이터 분석의 장벽을 어떻게 극복할 수 있는지 논의했습니다. 그들은 분석 프로세스의 속도와 효율성, 역량을 향상시키기 위해 강력한 GPU에 대한 투자가 필요하다고 강조하며 데이터 기반 의사결정을 위한 새로운 접근 방식을 제시했습니다.
기업 분석 가속화
생성 AI에 대한 기대감에도 불구하고 기업 분석은 발전이 더딘 상태입니다.
벤튼은 “많은 기업들이 여전히 구식 아키텍처로 분석 문제에 접근하고 있다”고 설명하며, “데이터베이스는 점진적인 업데이트가 있었지만, 실제로 실무자, 분석가, 데이터 과학자에게 현저한 혜택을 주는 혁신적인 변화는 없었다”고 덧붙입니다.
이러한 도전은 분석에 소요되는 상당한 시간 때문이며, 효과적인 솔루션이 마련되지 못하고 있습니다. 추가 클라우드 리소스는 비용이 많이 들고 복잡한 반면, CPU와 GPU의 효과적인 조합은 분석 성능을 크게 향상시킬 수 있습니다.
오늘날의 GPU는 과거에는 신기한 존재였다고 벤튼은 말합니다. “슈퍼컴퓨터가 대규모 과학 문제에 사용되지만, 이제 그 엄청난 계산 능력이 다양한 용도로 활용될 수 있습니다.”
조직들은 더 이상 미미한 쿼리 최적화로 만족할 필요가 없습니다. 대신, 데이터 수집, 쿼리, 프리젠테이션의 전체 분석 타임라인을 크게 단축시킬 수 있습니다.
“SQream과 유사한 기술들은 GPU와 CPU의 결합된 힘을 활용하여 전통적인 분석 프로세스를 혁신하고 전례 없는 영향을 미치고 있다”고 벤튼이 덧붙입니다.
데이터 과학 생태계 혁신
Hadoop 중심의 비정형 데이터 레이크는 방대한 양의 반구조화 및 비구조화 데이터를 수용할 유연성을 제공하지만, 모델 배포 전에는 광범위한 준비가 필요합니다. SQream은 GPU를 활용해 데이터 처리 속도를 높이며, 데이터 준비에서 실행 가능한 통찰로 이어지는 워크플로우를 크게 간소화합니다.
“GPU의 능력은 조직이 대규모 데이터셋을 효과적으로 분석할 수 있도록 합니다”라고 레프는 강조합니다. “우리는 종종 데이터 크기에 제한을 두어야 했지만, GPU 덕분에 방대한 데이터 양을 활용할 수 있게 되었습니다.”
NVIDIA의 RAPIDS는 GPU 가속 라이브러리의 오픈 소스 모음으로, 데이터 파이프라인 전반에서 성능을 극대화합니다. 이는 병렬 처리의 힘을 활용하여 Python 및 SQL 데이터 과학 생태계에서 효율성을 높입니다.
더 깊은 통찰력 얻기
벤튼은 향상된 분석이 단순히 속도만의 문제가 아니라고 강조합니다. “느린 프로세스는 종종 팀 간 또는 책상 간의 소통 지연에서 비롯됩니다. 이러한 상호작용을 최적화함으로써 우리는 상당한 성능 향상을 볼 수 있습니다.”
서브 초(second) 응답 시간을 달성하면 즉각적인 답변이 가능해지며, 데이터 과학자가 생산적 흐름 상태를 유지할 수 있도록 합니다. 이 효율성을 다양한 비즈니스 리더들에게 확대하면 수익, 비용 관리 및 위험 감소에 직접적인 영향을 미치는 의사결정 프로세스를 향상시킬 수 있습니다.
CPU와 GPU의 힘을 활용하여 데이터의 잠재력을 최대한 발휘할 수 있으며, 이전에는 불가능했던 쿼리가 가능해집니다.
레프는 “이것이 나에게는 가속화의 민주화입니다”라고 말합니다. “많은 의사결정자는 구식 가정에 의존해야 했습니다. 어떤 문의 응답이 8시간이 걸린다는 말을 들으면, 그들은 그 상황을 받아들이지만, 실제론 8분 이내에 처리가 가능하다는 것은 알지 못합니다.”
벤튼은 “많은 조직들이 수십 년에 걸쳐 확립된 구식 패러다임에 집착하고 있습니다. SQream과 같은 기술의 발전을 통해 우리는 이러한 가정을 도전할 수 있습니다. 이틀 걸리던 쿼리가 이제 30분 만에 완료된다면, 새로운 비즈니스 가능성 탐색의 기회가 열립니다”고 덧붙입니다.
순위 목록
