Дженсен Хуанг, генеральный директор Nvidia, выступил с ключевой речью на Computex в Тайване, рассказав о том, как Nvidia Inference Microservices (NIM) могут преобразовать развертывание AI-моделей с недель до считанных минут.
Хуанг отметил, что 28 миллионов разработчиков по всему миру теперь могут скачать Nvidia NIM, который предлагает оптимизированные AI-модели в виде контейнеров для развертывания в облаках, дата-центрах или рабочих станциях. Эта технология позволяет пользователям быстро создавать приложения генеративного AI — такие как помощники и чат-боты, что значительно повышает продуктивность.
С увеличением сложности AI-приложений, которые требуют интеграции нескольких моделей для генерации текста, изображений, видео и речи, Nvidia NIM упрощает внедрение генеративного AI в существующие приложения. Эта эффективность также распространяется на предприятия, позволяя им максимизировать инвестиции в инфраструктуру. Например, использование модели Meta Llama 3-8B на NIM может увеличить количество генерируемых токенов в три раза, без дополнительных вычислительных затрат.
Почти 200 технологических партнеров, включая Cadence, Cloudera и DataStax, интегрировали NIM в свои платформы для ускорения развертывания генеративного AI для специализированных приложений. Hugging Face теперь также предлагает NIM, начиная с модели Meta Llama 3.
«Каждое предприятие стремится внедрить генеративный AI, но не у всех есть специальные исследовательские команды», — сказал Хуанг. «Nvidia NIM делает генеративный AI доступным для всех организаций, интегрируя его на различных платформах».
NIM упрощает развертывание AI-приложений через программную платформу Nvidia AI Enterprise. Начиная со следующего месяца, члены программы разработчиков Nvidia смогут бесплатно получить доступ к NIM для исследований и тестирования на предпочитаемой инфраструктуре.
NIM включает более 40 микросервисов, ориентированных на различные отрасли, такие как здравоохранение. Контейнеры NIM предварительно собраны для ускоренного вывода с помощью GPU и могут включать программное обеспечение Nvidia CUDA, Triton Inference Server и TensorRT-LLM.
Разработчики могут получить доступ к микросервисам Nvidia NIM для Meta Llama 3 через платформу Hugging Face, что позволяет легко развертывать модели Llama 3 всего за несколько кликов. Предприятия могут использовать NIM для генерации текста, изображений, видео, речи и даже для создания цифровых людей. Кроме того, микросервисы Nvidia BioNeMo NIM помогают исследователям разрабатывать новые структуры белков для ускорения открытия лекарств.
Множество организаций в области здравоохранения используют NIM для различных приложений, включая планирование операций и оптимизацию клинических испытаний.
Ведущие технологические компании, такие как Canonical, Red Hat и VMware, поддерживают NIM на базе открытого KServe, в то время как AI-компании, такие как Hippocratic AI и Glean, внедряют NIM для генеративного AI. Крупные консалтинговые фирмы, включая Accenture и Deloitte, развивают навыки работы с NIM, чтобы помочь предприятиям быстро реализовать стратегии AI.
Приложения с поддержкой NIM могут развертываться на сертифицированных системах Nvidia, включая решения от Cisco, Dell Technologies и других крупных производителей, а также на облачных платформах, таких как AWS и Google Cloud. Известные компании, такие как Foxconn и Lowe’s, уже применяют NIM в таких сферах, как производство и здравоохранение.
Nvidia расширяет свою программу сертифицированных систем, обеспечивая их оптимизацию для AI и ускоренных вычислений. Новые сертификаты включают системы Spectrum-X Ready для дата-центров и системы IGX для периферийных вычислений, оба подтверждены для корпоративной производительности.
С помощью NIM предприятия по всему миру создают «AI фабрики» для упрощения обработки данных и повышения интеллектуального.Output. Nvidia NIM в комбинации с KServe упростит развертывание генеративного AI, что сделает его доступным через платформы таких партнеров, как Canonical и Nutanix.
Кроме того, Хуанг отметил, что Meta Llama 3, передовая языковая модель, обученная на ускоренных вычислениях Nvidia, значительно улучшает рабочие процессы в здравоохранении и науках о жизни. Теперь доступная как микросервис NIM на ai.nvidia.com, Llama 3 предоставляет разработчикам инструменты для ответственного инновационного развития в различных приложениях, включая планирование операций и открытие лекарств.
Рейтинг
