Nvidia и Microsoft объединяются для решения важной задачи с Copilot+

Когда Microsoft недавно представила компьютеры Copilot+, возник вопрос: почему я не могу использовать эти AI-приложения на своем GPU? На Computex 2024 Nvidia наконец ответила на этот запрос.

Nvidia и Microsoft совместно разрабатывают интерфейс прикладного программирования (API), который позволит разработчикам запускать приложения с поддержкой AI на графических картах RTX. Это включает в себя малые языковые модели (SLM), которые являются основой для работы Copilot и обеспечивают такие функции, как Воспоминание и Живые Субтитры.

С помощью этого инструментария разработчики смогут выполнять приложения локально на GPU, а не полагаясь исключительно на нейропроцессор (NPU). Это достижение открывает путь для более мощных AI-приложений, поскольку GPU, как правило, предлагают более высокую производительность для AI по сравнению с NPU, и расширяет доступность для ПК, выходя за рамки текущих требований Copilot+.

Это стратегическое развитие. Компьютеры Copilot+ в настоящее время зависят от NPU, способного выполнять как минимум 40 тера операций в секунду (TOPS), но в настоящее время только Snapdragon X Elite соответствует этой спецификации. В то же время, GPU демонстрируют значительно более высокие возможности для обработки AI, где модели начального уровня достигают 100 TOPS, а продвинутые даже превышают это значение.

Новый API также улучшает работу Copilot, добавляя функции генерации с поддержкой поиска (RAG). RAG позволяет AI моделям извлекать конкретную локальную информацию, что делает предоставляемые решения более эффективными. Мы уже видели, как функции RAG демонстрировались в Chat with RTX от Nvidia в начале этого года.

Помимо API, на Computex Nvidia представила RTX AI Toolkit. Запланированная к выпуску в июне, эта разработка включает в себя множество инструментов и SDK, позволяющих разработчикам тщательно настраивать AI-модели для специализированных приложений. Nvidia утверждает, что использование RTX AI Toolkit может привести к созданию моделей, которые в четыре раза быстрее и в три раза меньше по размеру по сравнению с альтернативами с открытым исходным кодом.

Ожидается множество инструментов, позволяющих разработчикам создавать адаптированные AI-приложения для конечных пользователей. Хотя некоторые инновации уже интегрированы в компьютеры Copilot+, в следующем году мы можем рассчитывать на появление большего разнообразия AI-приложений. С оборудованием, способным поддерживать эти приложения, теперь нам просто необходимо соответствующее программное обеспечение.