Microsoft представила Phi-Silica: модель с 3,3 миллиарда параметров, разработанная для Copilot+ и современных процессоров НПУ для ПК.

Microsoft усиливает свои инвестиции в малые языковые модели (SLM). На конференции разработчиков Build компания анонсировала общую доступность моделей Phi-3 и представила предварительный обзор Phi-3-vision. В связи с новостями о компьютерах Copilot+ Microsoft запускает Phi-3-Silica, SLM, специально разработанную для мощных нейропроцессоров (NPU) в этих устройствах.

Phi-3-Silica будет включён во все компьютеры Copilot+, доступные с июня. Эта модель является самой компактной в линейке Phi и содержит 3,3 миллиарда параметров.

Согласно данным Microsoft, первая задержка токена для Phi-3-Silica составляет 650 токенов в секунду при потреблении всего 1,5 Вт энергии, что обеспечивает её легкость и эффективность. Это позволяет CPU и GPU компьютера сосредоточиться на других задачах. Более того, генерация токенов может использовать KV-кэш NPU, что позволяет CPU создавать около 27 токенов в секунду.

Представитель Microsoft отметил, что Phi-Silica примечательна как первая локально развернутая языковая модель для Windows. Оптимизированная для NPU компьютеров Copilot+, она обеспечивает быструю локальную инференцию для пользователей. Этот шаг представляет собой важный этап в обеспечении сторонних разработчиков современными AI-инструментами, оптимизированными для Windows, что повышает производительность и доступность в экосистеме. Пользователи могут ожидать инновационных решений как от первичных, так и от сторонних разработчиков этой осенью.

Phi-Silica стала пятой добавкой к серии Phi-3 от Microsoft, в которую входят Phi-3-mini с 3,8 миллиарда параметров, Phi-3-small с 7 миллиардами параметров, Phi-3-medium с 14 миллиардами параметров и Phi-3-vision с 4,2 миллиарда параметров.