A Microsoft está aumentando seu investimento em modelos de linguagem pequenos (SLMs). Durante a conferência Build para desenvolvedores, a empresa anunciou a disponibilidade geral de seus modelos Phi-3 e apresentou uma prévia do Phi-3-vision. Após as novidades sobre os PCs Copilot+, a Microsoft introduziu o Phi-3-Silica, um SLM projetado especificamente para as potentes Unidades de Processamento Neural (NPUs) desses dispositivos.
O Phi-3-Silica será incluído em todos os PCs Copilot+ disponíveis a partir de junho. Esse modelo, o menor da linha Phi, possui 3,3 bilhões de parâmetros. Segundo a Microsoft, a latência do primeiro token para o Phi-3-Silica é de 650 tokens por segundo e consome apenas 1,5 Watts de energia, o que garante que o dispositivo permaneça leve e eficiente. Isso permite que a CPU e a GPU do PC se concentrem em outras tarefas. Além disso, sua geração de tokens pode aproveitar o cache KV da NPU, permitindo que a CPU produza cerca de 27 tokens por segundo.
Um porta-voz da Microsoft destacou que o Phi-Silica é notável por ser o primeiro modelo de linguagem implantado localmente para o Windows. Otimizado para a NPU dos PCs Copilot+, ele proporciona inferência local rápida para os dispositivos dos usuários. Esse desenvolvimento representa um passo importante para equipar desenvolvedores de terceiros com ferramentas avançadas de IA otimizadas para o Windows, aumentando a produtividade e a acessibilidade dentro do ecossistema. Os usuários podem esperar experiências inovadoras tanto de desenvolvedores da própria Microsoft quanto de terceiros neste outono.
O Phi-Silica é a quinta adição à série Phi-3 da Microsoft, que inclui Phi-3-mini com 3,8 bilhões de parâmetros, Phi-3-small com 7 bilhões de parâmetros, Phi-3-medium com 14 bilhões de parâmetros e Phi-3-vision com 4,2 bilhões de parâmetros.