Nvidia представила инновационную технологию RTX, предназначенную для улучшения работы AI-ассистентов и цифровых людей на новых ноутбуках GeForce RTX AI. Ярким моментом этого анонса стало Project G-Assist — демонстрационное приложение AI-ассистента, использующее RTX для контекстной помощи в играх и приложениях. Демо было представлено вместе с ARK: Survival Ascended от Studio Wildcard.
Во время выступления Генерального директора Дженсена Хуанга на Computex в Тайване Nvidia также представила первый PC-основной Nvidia NIM (Nvidia Inference Microservices) для платформы Nvidia ACE, ориентированной на цифровых людей. Эти достижения стали возможны благодаря Nvidia RTX AI Toolkit, набору инструментов и SDK, помогающему разработчикам оптимизировать и внедрять крупные генеративные AI-модели на Windows. Это дополняет мощные RTX AI инновации Nvidia, ускоряющие более 500 приложений, игр и 200 дизайнерских конфигураций ноутбуков OEM. Видение Nvidia — это широкое внедрение AI в дата-центры, периферийные вычисления и домашние системы.
Новые RTX AI ноутбуки от ASUS и MSI оснащены графическими процессорами GeForce RTX 4070 и энергоэффективными системами на чипе с возможностями AI в Windows 11. «Nvidia начала эру AI PC в 2018 году с выпуском графических процессоров RTX Tensor Core и технологии DLSS», — сказал Джейсон Пол, вице-президент Nvidia по потребительскому AI. «С Project G-Assist и Nvidia ACE мы открываем новую эру AI-поддерживаемых возможностей для более чем 100 миллионов пользователей RTX AI PC».
Project G-Assist: Революционный AI Ассистент
AI-ассистенты готовы преобразить игровой и приложенческий опыт, предлагая стратегии, анализируя многопользовательские повторы и помогая в сложных рабочих процессах. Project G-Assist воплощает это будущее.
PC-игры предлагают обширные миры и сложные механики, что вызывает трудности даже у самых преданных игроков. Project G-Assist использует генеративный AI для передачи игровых знаний непосредственно игрокам. Обрабатывая голосовые или текстовые запросы и контекстные данные с экрана игры, он использует модели AI-обзора для повышения ситуационной осведомленности, предоставляя персонализированные ответы в текстовом или звуковом формате.
В сотрудничестве с Studio Wildcard Project G-Assist продемонстрировал свою эффективность в ARK: Survival Ascended, отвечая на запросы игроков о существах, предметах, lore и многом другом, адаптируя свои рекомендации под игровой процесс. Он также оптимизирует игровые системы для достижения максимальной производительности, предлагая советы по метрикам, графическим настройкам, разгонке и управлению потреблением энергии.
Nvidia ACE и Микросервисы Инференции
Технология Nvidia ACE теперь приносит возможности цифровых людей на RTX AI ПК через Nvidia NIM. Эта инновация значительно упрощает развертывание — с недель до минут. ACE NIMы обеспечивают высококачественные вычисления на устройствах, поддерживая понимание естественного языка, синтез речи и анимацию лиц.
На Computex Nvidia продемонстрировала дебют ACE NIM в демонстрации Covert Protocol, разработанной с Inworld AI, с использованием возможностей NVIDIA Audio2Face™ и автоматического распознавания речи NVIDIA Riva.
Сотрудничество с Microsoft по ускоренному GPU-AI
Nvidia и Microsoft объединяются для улучшения генеративного AI в приложениях Windows, предоставляя разработчикам доступ к API для ускоренных GPU малых языковых моделей (SLMs). Эти модели позволяют приложениям заниматься резюмированием, генерацией контента и автоматизацией задач, дополнительно улучшенными возможностями RAG, специфичными для отдельных областей.
Основываясь на графических процессорах Nvidia RTX и других аппаратных акселераторах, эти AI-достижения обещают быстрые и отзывчивые впечатления в экосистеме Windows, с предварительным показом для разработчиков, запланированным на конец этого года.
Представляем RTX AI Toolkit
Чтобы решить проблему широкого использования моделей с открытым исходным кодом, специально предназначенных для дата-центров, Nvidia запускает RTX AI Toolkit — набор инструментов и SDK для создания приложений с AI на RTX ПК. С более широким доступом для разработчиков в июне, этот инструмент позволяет кастомизацию с использованием открытых инструментов QLoRa и оптимизацию с помощью Nvidia TensorRT, достигая повышения производительности до 4 раз по сравнению с предобученными моделями.
SDK Nvidia AI Inference Manager (AIM) упрощает интеграцию AI между ПК и облачными сервисами, преднастраивая необходимые модели и поддерживая различные бэкенды инференции на разных процессорах.
Программные партнеры, такие как Adobe, Blackmagic Design и Topaz, внедряют компоненты RTX AI Toolkit в свои креативные приложения, значительно улучшая производительность AI на RTX ПК.
AI в Создании Контента и Моддинге
Nvidia также внедряет RTX AI-ускорение в инструменты для создателей, моддеров и видеоэнтузиастов. После появления RTX-ускорения в интерфейсе Automatic1111 Stable Diffusion в прошлом году, популярный ComfyUI вскоре получит улучшения, предлагая прирост производительности до 60% по сравнению с текущей версией.
RTX Remix — платформа моддинга для ремастеринга классических игр DirectX 8 и 9 с трассировкой лучей и accurately физически точными материалами, также расширяется. RTX Remix Toolkit, выпущенный с открытым исходным кодом в начале этого года, уже привлек более 20,000 моддеров, что привело к созданию более 130 ремастированных проектов.
Впереди ожидаются улучшения, так как RTX Remix Toolkit станет полностью открытым, предоставляя еще большую гибкость моддерам для замены игровых ресурсов и оптимизации сцен. Кроме того, Nvidia предоставит REST API для интеграции с инструментами цифрового создания контента и специализированный SDK для развертывания рендерера RTX Remix в различных приложениях.
Наконец, Nvidia RTX Video, функция улучшения видео с использованием AI в основных веб-браузерах, теперь доступна как SDK для разработчиков. Эта инновация вскоре позволит Blackmagic Design’s DaVinci Resolve и Wondershare Filmora повышать качество видео до 4K и конвертировать стандартные динамические файлы в HDR. Бесплатный медиаплеер VLC также интегрирует RTX Video HDR, улучшая свои текущие возможности суперразрешения.
Рейтинг
