Nvidia представляет сервис AI Foundry на Microsoft Azure с новыми моделями Nemotron-3 8B.

Nvidia улучшает стратегию совместных продаж с Microsoft, запуская сервис AI Foundry, который поможет предприятиям и стартапам создавать индивидуальные приложения на базе ИИ в облаке Azure. Этот сервис будет использовать корпоративные данные с помощью технологии retrieval augmented generation (RAG).

"Сервис AI Foundry от Nvidia интегрирует наши технологии генеративного ИИ, опыт в обучении LLM и обширные возможности AI Factory на платформе Microsoft Azure. Это позволит предприятиям по всему миру соединять свои индивидуальные модели с ведущими облачными сервисами Microsoft," сказал Дженсен Хуанг, основатель и генеральный директор Nvidia.

Ключевые особенности сервиса AI Foundry от Nvidia на Azure

С помощью сервиса AI Foundry на Azure предприятия получат все необходимые компоненты для разработки индивидуальных генеративных приложений ИИ в одном месте. Это комплексное предложение включает в себя базовые модели ИИ от Nvidia, фреймворк NeMo и доступ к ресурсам суперкомпьютинга Nvidia DGX Cloud.

"В первый раз компании могут получить полный спектр необходимых компонентов — от оборудования до программного обеспечения — на платформе Microsoft Azure. Клиенты могут без труда реализовать весь рабочий процесс генеративного ИИ с Nvidia через Azure," отметил Манувир Дас, вице-президент по корпоративным вычислениям Nvidia.

Для расширения возможностей предприятий Nvidia представляет новую серию моделей Nemotron-3 8B, разработанных для продвинутых чат- и Q&A-приложений в таких отраслях, как здравоохранение, телекоммуникации и финансы. Эти модели будут поддерживать многоязычность и будут доступны через каталог моделей Azure AI, а также Hugging Face и NGC.

Другие базовые модели из каталога Nvidia, которые также будут интегрированы с Azure, включают Llama 2, Stable Diffusion XL и Mistral 7b. После выбора модели пользователи смогут перейти к обучению и развертыванию индивидуальных приложений с помощью Nvidia DGX Cloud и AI Enterprise программного обеспечения через маркетплейс Azure. DGX Cloud предлагает масштабируемые инстансы, использующие до тысяч графических процессоров NVIDIA Tensor Core для обучения и включает в себя инструменты AI Enterprise для упрощения настройки LLM.

Партнерство с Oracle и ранние пользователи

Nvidia также заключила партнерство с Oracle, что позволяет квалифицированным предприятиям приобретать инструменты на маркетплейсе Oracle Cloud для обучения моделей на Oracle Cloud Infrastructure (OCI). Среди первых пользователей сервиса AI Foundry на Azure — SAP, Amdocs и Getty Images, которые разрабатывают индивидуальные приложения ИИ для различных сценариев.

Расширение партнерства Nvidia и Microsoft

Помимо сервиса генеративного ИИ, Microsoft анонсировала введение новых виртуальных машин NC H100 v5 для Azure. Эти инновационные облачные инстансы оснащены двумя графическими процессорами H100 на основе PCIe, соединёнными через Nvidia NVLink, обеспечивая почти четыре петафлопса вычислительной мощности ИИ и 188 ГБ высокоскоростной памяти HBM3.

Графический процессор Nvidia H100 NVL спроектирован для достижения до 12 раз лучшей производительности на GPT-3 175B по сравнению с предыдущими моделями, что делает его идеальным для задач вывода и основного обучения. Более того, Nvidia планирует внедрить новый графический процессор H200 Tensor Core в Azure в следующем году, предлагая 141 ГБ памяти HBM3e и 4,8 ТБ/с пиковую пропускную способность памяти, оптимизированную для масштабных рабочих нагрузок ИИ.

Обновления для ИИ на устройствах Windows

Чтобы улучшить работу LLM на устройствах Windows, Nvidia также представила несколько обновлений, включая TensorRT LLM для Windows, который будет поддерживать новые крупные языковые модели, такие как Mistral 7B и Nemotron-3 8B. Ожидаемое обновление, которое выйдет в конце этого месяца, обещает пятикратное увеличение скорости вывода, что позволит лучше выполнять модели на настольных и портативных компьютерах с графическими процессорами GeForce RTX 30 и 40 серии с минимум 8 ГБ ОЗУ.

Кроме того, TensorRT-LLM будет совместим с API Chat от OpenAI через новый обертку, позволяя множеству разработческих проектов работать локально на ПК с Windows 11 и RTX, исключая необходимость в облачных решениях.