젠슨 황, 엔비디아 CEO는 대만 COMPUTEX에서 기조연설을 하며 엔비디아 인퍼런스 마이크로서비스(NIM)가 AI 모델 배포를 수 주에서 몇 분으로 단축할 수 있는 방법에 대해 설명했습니다. 황 CEO는 전 세계 2,800만 개발자가 클라우드, 데이터 센터 또는 워크스테이션에 배포할 수 있는 최적화된 AI 모델을 컨테이너 형태로 제공하는 엔비디아 NIM을 다운로드할 수 있다고 밝혔습니다. 이 기술은 사용자가 협력자 및 챗봇과 같은 생성형 AI 애플리케이션을 신속하게 개발할 수 있도록 하여 생산성을 크게 향상시킵니다.
AI 애플리케이션이 점점 더 복잡해지고 텍스트, 이미지, 비디오 및 음성을 생성하기 위해 여러 모델에 의존함에 따라 엔비디아 NIM은 기존 애플리케이션에 생성형 AI를 통합하는 과정을 간소화합니다. 이러한 효율성은 기업에도 적용되어 인프라 투자 효과를 극대화할 수 있습니다. 예를 들어, NIM에서 메타 라마 3-8B 모델을 실행하면 추가적인 컴퓨팅 비용 없이도 최대 세 배 더 많은 생성형 AI 토큰을 생성할 수 있습니다.
카덴스, 클라우데라, 데이터스택스 등 거의 200개의 기술 파트너가 NIM을 자신의 플랫폼에 통합하여 특화된 애플리케이션을 위한 생성형 AI 배포를 가속화하고 있습니다. Hugging Face는 메타 라마 3 모델을 시작으로 NIM을 제공하고 있습니다. 황 CEO는 "모든 기업이 생성형 AI를 도입하고자 하지만, 전담 AI 연구팀을 갖춘 기업은 많지 않다"고 말하며, "엔비디아 NIM은 모든 조직이 플랫폼 간에 통합되어 생성형 AI를 쉽게 접근할 수 있도록 하고 있다"고 강조했습니다.
NIM은 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼을 통해 AI 애플리케이션 배포를 용이하게 합니다. 다음 달부터 엔비디아 개발자 프로그램 회원은 선호하는 인프라에서 연구 및 테스트를 위해 NIM을 무료로 이용할 수 있습니다. NIM은 의료와 같은 다양한 산업을 위한 40개 이상의 마이크로서비스를 포함하고 있으며, GPU 가속 인퍼런스를 위해 미리 구축된 컨테이너로 엔비디아의 CUDA, 트리톤 인퍼런스 서버, 텐서RT-LLM 소프트웨어를 통합할 수 있습니다.
개발자들은 Hugging Face 플랫폼을 통해 메타 라마 3용 NIM 마이크로서비스에 접근하여 클릭 몇 번으로 라마 3 모델을 쉽게 배포할 수 있습니다. 기업은 NIM을 활용하여 텍스트, 이미지, 비디오, 음성을 생성하고, 디지털 휴먼을 생성하는 등 다양한 작업을 수행할 수 있습니다. 또한 엔비디아 바이오네모 NIM 마이크로서비스는 연구자들이 새로운 단백질 구조를 혁신하여 약물 발견을 가속화하는 데 도움을 줍니다.
많은 의료 기관들이 수술 계획 및 임상 시험 최적화를 포함한 다양한 애플리케이션에 NIM을 활용하고 있습니다. 캐노니컬, 레드햇, VMware와 같은 주요 기술 제공업체는 오픈 소스 KServe에서 NIM을 지원하고 있으며, 히포크라틱 AI 및 글린과 같은 AI 기업은 생성형 AI 인퍼런스를 위해 NIM을 통합하고 있습니다. 액센츄어 및 딜로이트와 같은 주요 글로벌 컨설팅 기업들은 기업이 AI 전략을 신속하게 실행할 수 있도록 NIM 역량을 개발하고 있습니다.
NIM이 지원되는 애플리케이션은 Cisco, Dell Technologies 등 주요 제조업체와 AWS 및 구글 클라우드와 같은 클라우드 플랫폼에서 엔비디아 인증 시스템에 배포할 수 있습니다. 폭스콘 및 로우스와 같은 주요 기업은 제조 및 의료 분야에서 NIM을 적용하고 있습니다.
엔비디아는 AI 및 가속 컴퓨팅에 최적화된 플랫폼을 보장하기 위해 인증 시스템 프로그램을 확장하고 있으며, 데이터 센터용 스펙트럼-X 레디 시스템 및 엣지 컴퓨팅을 위한 IGX 시스템에 대한 새로운 인증을 도입했습니다. 이 시스템들은 기업 수준의 성능을 검증받았습니다.
NIM을 통해 전 세계 기업들은 데이터 처리 속도를 높이고 지능형 출력을 향상시키기 위해 'AI 공장'을 구축하고 있습니다. 엔비디아 NIM은 KServe와 결합되어 생성형 AI 배포를 간소화하며, 캐노니컬 및 뉴타닉스와 같은 파트너의 플랫폼을 통해 접근할 수 있게 됩니다.
또한 황 CEO는 엔비디아의 가속 컴퓨팅으로 훈련된 최첨단 대규모 언어 모델인 메타 라마 3가 의료 및 생명과학 분야의 워크플로를 크게 향상시키고 있다고 강조했습니다. 현재 ai.nvidia.com에서 엔비디아 NIM 인퍼런스 마이크로서비스로 제공되는 라마 3는 개발자들이 수술 계획 및 약물 발견 등 다양한 애플리케이션에서 책임감 있게 혁신할 수 있는 도구를 제공합니다.
순위 목록
