구글에서 IBM까지: 주요 기술 대기업들이 엔비디아의 최신 하드웨어 및 소프트웨어 솔루션을 활용하는 방법

Nvidia는 현재 샌호세에서 열리고 있는 GTC 컨퍼런스에서 컴퓨팅 분야에서 중대한 진전을 이루고 있습니다. CEO 젠슨 황은 블랙 가죽 재킷을 입고 기조 연설 중 콘서트 같은 관중을 매료시켰습니다. 그는 대규모 언어 모델(LLM) 추론 작업에서 최대 30배 성능 향상을 약속하는 기대주인 GB200 그레이스 블랙웰 슈퍼칩을 공개했습니다. 황은 또한 자동차, 로봇, 옴니버스, 헬스케어 분야의 발전을 강조하며 온라인에서 큰 화제를 낳았습니다.

GTC 행사에서 산업 파트너십 소개는 빠질 수 없는 요소입니다. Nvidia는 주요 기술 회사들과의 협력을 강화하며 새로운 AI 컴퓨팅 인프라, 소프트웨어, 서비스 통합을 발표했습니다. 주요 파트너십 요약은 다음과 같습니다:

AWS

Nvidia는 AWS가 GB200 NVL72를 탑재한 블랙웰 플랫폼을 EC2 인스턴스에서 제공할 것이라고 발표했습니다. 이 통합을 통해 고객들은 멀티 조 단위 파라미터 LLM에서 실시간 추론을 더욱 효율적으로 구축하고 실행할 수 있으며, 이전 Nvidia GPU보다 더 큰 규모로 저렴한 비용으로 사용할 수 있게 됩니다. 또한, AWS에서 독점적으로 개발된 AI 슈퍼컴퓨터인 Project Ceiba에 20,736개의 GB200 슈퍼칩을 제공하며, Amazon SageMaker와 Nvidia NIM 추론 마이크로서비스를 통합할 예정입니다.

Google Cloud

구글 클라우드는 Nvidia의 그레이스 블랙웰 플랫폼과 NIM 마이크로서비스를 클라우드 인프라에 통합할 계획입니다. 또한 Nvidia H100 GPU에서 고성능 LLM 교육을 위한 Python 네이티브 프레임워크인 JAX에 대한 지원을 발표하며, Google Kubernetes Engine(GKE) 및 Google Cloud HPC 툴킷을 통해 Nvidia NeMo 프레임워크의 배치를 용이하게 합니다. 더불어, Vertex AI는 NVIDIA H100 GPU로 구동되는 Google Cloud A3 VM 및 NVIDIA L4 Tensor Core GPU로 구동되는 G2 VM을 지원합니다.

Microsoft

Microsoft는 Azure에 NIM 마이크로서비스와 그레이스 블랙웰을 추가할 계획을 확인했습니다. 또한 새로운 Quantum-X800 InfiniBand 네트워킹 플랫폼과 DGX Cloud를 Microsoft Fabric과 통합하여 맞춤형 AI 모델 개발을 간소화하고, 최근 출시된 Omniverse Cloud API를 Azure Power 플랫폼에서 제공할 예정입니다. 헬스케어 분야에서 Azure는 Nvidia의 클라라 마이크로서비스와 DGX Cloud를 활용하여 임상 연구 및 치료 제공의 신속한 혁신을 지원합니다.

Oracle

Oracle은 OCI 슈퍼클러스터 및 OCI 컴퓨트 인스턴스 전반에서 그레이스 블랙웰 컴퓨팅 플랫폼을 활용하고, Nvidia GB200 슈퍼칩 및 B200 Tensor Core GPU를 도입할 예정입니다. 지난 발표에서 Nvidia NIM 및 CUDA-X 마이크로서비스, 특히 RAG 추론 배포를 위한 NeMo Retriever가 OCI 고객의 생성 AI 애플리케이션에 대한 통찰력과 정확성을 높일 것이라고 밝혔습니다.

SAP

SAP는 Nvidia와 협력해 SAP Datasphere, SAP Business Technology Platform, RISE with SAP 등 클라우드 솔루션에 생성 AI를 통합할 계획입니다. 이 회사는 Nvidia의 생성 AI 파운드리 서비스를 활용하여 SAP BTP 내에서 추가적인 생성 AI 기능을 개발할 예정입니다.

IBM

IBM 컨설팅은 Nvidia의 AI 엔터프라이즈 소프트웨어 스택과 NIM 마이크로서비스 및 옴니버스 기술을 융합해 고객의 AI 워크플로우를 가속하고, 특정 산업에 맞춤화된 AI 솔루션을 개발할 계획입니다.

Snowflake

Snowflake는 Nvidia와의 파트너십을 확장해 NeMo Retriever, 맞춤형 LLM을 기업 데이터에 연결하는 생성 AI 마이크로서비스와의 통합을 포함하게 됐습니다. 이 강화된 기능은 Snowflake Cortex로 개발된 챗봇 애플리케이션의 성능과 확장성을 향상시킬 것입니다. 추가로, Nvidia TensorRT 소프트웨어는 딥 러닝 추론 애플리케이션을 위해 저지연성을 지원합니다.

Snowflake 외에도 Box, Dataloop, Cloudera, Cohesity, Datastax, NetApp 등 다양한 데이터 플랫폼 제공업체들이 Nvidia 마이크로서비스, 특히 새로운 NIM 기술을 활용하여 RAG 파이프라인을 최적화하고 생성 AI 애플리케이션에 독점 데이터를 통합할 것을 약속했습니다.

Nvidia GTC 2024는 샌호세에서 3월 18일부터 3월 21일까지 오프라인과 온라인으로 열릴 예정입니다.