마이크로소프트, 코파일럿+ 및 고급 PC NPU를 위한 33억 파라미터 모델 '파이-실리카' 공개

마이크로소프트는 소형 언어 모델(SLM)에 대한 투자를 강화하고 있습니다. Build 개발자 컨퍼런스에서 이 회사는 Phi-3 모델의 일반 가용성을 발표하고 Phi-3-vision을 미리 보여주었습니다. Copilot+ PC에 대한 발표에 이어, 이 회사는 이러한 장치의 강력한 신경 처리 장치(NPU)를 위해 특별히 설계된 SLM인 Phi-3-Silica를 도입하고 있습니다.

Phi-3-Silica는 6월부터 제공되는 모든 Copilot+ PC에 포함됩니다. 이 모델은 Phi 시리즈 중 가장 작은 모델로, 33억 개의 매개변수를 보유하고 있습니다.

마이크로소프트에 따르면, Phi-3-Silica의 첫 번째 토큰 지연 시간은 초당 650 토큰이며, 소비 전력은 단 1.5 와트로 가볍고 효율적인 성능을 유지합니다. 이는 PC의 CPU와 GPU가 다른 작업에 집중할 수 있도록 합니다. 또한, 이 모델의 토큰 생성은 NPU의 KV 캐시를 활용하여 CPU가 초당 약 27개의 토큰을 생산할 수 있도록 합니다.

마이크로소프트 대변인은 Phi-Silica가 윈도우를 위한 최초의 로컬 배포 언어 모델로 주목받고 있다고 강조했습니다. Copilot+ PC의 NPU에 최적화된 이 모델은 사용자 제공 장치에서 빠른 로컬 추론을 가능하게 합니다. 이는 윈도우에 최적화된 고급 AI 도구를 통해 제3자 개발자에게 중요한 발판을 제공하며, 생태계 내에서 생산성과 접근성을 향상시킵니다. 사용자들은 이번 가을에 1차 및 3차 개발자 모두로부터 혁신적인 경험을 기대할 수 있습니다.

Phi-Silica는 마이크로소프트 Phi-3 시리즈의 다섯 번째 모델로, 이 시리즈에는 38억 개의 매개변수를 가진 Phi-3-mini, 70억 개의 매개변수를 가진 Phi-3-small, 140억 개의 매개변수를 가진 Phi-3-medium, 42억 개의 매개변수를 가진 Phi-3-vision이 포함되어 있습니다.

Most people like

Find AI tools in YBX