마이크로소프트가 몇 주 전 Copilot+ PC를 공개했을 때 한 가지 질문이 떠올랐습니다. "왜 이 AI 애플리케이션을 내 GPU에서 실행할 수 없을까?" 2024 컴퓨텍스에서 엔비디아가 드디어 이 질문에 답했습니다.
엔비디아와 마이크로소프트는 개발자들이 RTX 그래픽 카드에서 AI 가속 애플리케이션을 실행할 수 있도록 하는 애플리케이션 프로그래밍 인터페이스(API)를 협력하여 개발하고 있습니다. 이 API는 Copilot 런타임에 필수적인 소형 언어 모델(SLM)을 지원하며, Recall과 Live Captions와 같은 기능을 가동합니다.
이 툴킷을 통해 개발자들은 NPU(신경 처리 장치)뿐 아니라 GPU에서 직접 애플리케이션을 실행할 수 있습니다. 이러한 발전은 더 강력한 AI 애플리케이션을 가능하게 합니다. 일반적으로 GPU는 NPU보다 우수한 AI 처리 능력을 제공하며, 현재의 Copilot+ 요구 사항을 초과하여 PC의 접근성을 넓혀줍니다.
이는 전략적인 발전입니다. 현재 Copilot+ PC는 초당 최소 40 테라 연산(TOPS)을 수행할 수 있는 NPU에 의존하고 있지만, 현재 이 기준을 충족하는 것은 Snapdragon X Elite뿐입니다. 반면, GPU는 보급형 모델도 100 TOPS를 달성하고 고급 모델은 이를 넘어서는 등 상당히 높은 AI 처리 능력을 자랑합니다.
새롭게 소개된 API는 Copilot 런타임에 검색 보강 생성(RAG) 기능을 추가합니다. RAG는 AI 모델이 특정 지역 정보를 검색할 수 있게 하여 더 효과적인 해결책을 제공할 수 있도록 합니다. 올해 초, 엔비디아의 Chat with RTX에서 RAG 기능이 시연된 바 있습니다.
API 외에도, 엔비디아는 컴퓨텍스에서 RTX AI Toolkit을 공개했습니다. 6월 출시 예정인 이 개발자 툴킷은 다양한 도구와 SDK를 통합하여 개발자들이 전문화된 애플리케이션을 위한 AI 모델을 조정할 수 있게 해줍니다. 엔비디아는 RTX AI Toolkit을 활용하면 오픈 소스 대안에 비해 모델이 네 배 더 빠르고 세 배 더 작은 결과를 얻을 수 있다고 주장합니다.
개발자들이 최종 사용자를 위한 맞춤형 AI 애플리케이션을 만들 수 있는 도구가 증가하고 있습니다. 일부 혁신은 이미 Copilot+ PC에 통합되었지만, 앞으로 더 다양한 AI 애플리케이션이 출시될 것으로 기대됩니다. 이제 이러한 애플리케이션을 지원할 수 있는 하드웨어는 갖추어져 있으니, 필요한 소프트웨어만이 남아 있습니다.