Результаты обучения MLPerf 4.0: Узнайте о росте производительности ИИ до 80%

Инновации в обучении машинного обучения и ИИ ускоряются

Развитие машинного обучения (ML) и обучения искусственного интеллекта (ИИ) стремительно эволюционирует, особенно с появлением более сложных задач генеративного ИИ.

Сегодня MLCommons представил бенчмарк MLPerf 4.0, который демонстрирует рекордные уровни производительности. Этот независимый стандарт широко признан в индустрии и включает в себя вклад 17 организаций и более 205 результатов. Этот релиз стал первым обновлением в обучении MLPerf с версии 3.1, выпущенной в ноябре 2023 года.

Бенчмарки MLPerf 4.0 охватывают значительные достижения, включая генерацию изображений с использованием Stable Diffusion и обучение Большой Языковой Модели (LLM) для GPT-3. Примечательные результаты первого анализа включают новый бенчмарк LoRA, который настраивает языковую модель Llama 2 70B для суммирования документов с акцентом на эффективность параметров.

При сравнении результатов с последним циклом наблюдаются впечатляющие улучшения.

«По сравнению с шестью месяцами назад, некоторые бенчмарки показали почти двукратное улучшение производительности, особенно с Stable Diffusion», - отметил основатель и исполнительный директор MLCommons Дэвид Кентер на пресс-брифинге. «Это впечатляет всего за полгода».

В частности, обучение Stable Diffusion стало на 1.8 раза быстрее по сравнению с ноябрем 2023 года, в то время как обучение GPT-3 увеличило скорость до 1.2 раза.

Производительность обучения ИИ: за пределами аппаратного обеспечения

Хотя аппаратное обеспечение играет важную роль в обучении моделей ИИ, программное обеспечение и сетевое взаимодействие внутри кластеров также критически важны.

«Производительность обучения ИИ зависит от различных факторов, которые повышают эффективность», - отметил Кентер. «Распределение задач и взаимодействие между несколькими процессорами или ускорителями имеет ключевое значение».

Поставщики не только используют превосходные схемы, но также внедряют передовые алгоритмы и масштабирование для повышения производительности со временем.

Лидерство Nvidia в обучении с архитектурой Hopper

Nvidia значительно преуспела в бенчмарках MLPerf 4.0, установив новые рекорды производительности по пяти из девяти протестированных нагрузок. Интересно, что эти результаты были в основном достигнуты с использованием тех же аппаратных платформ, что и в июне 2023 года.

Дэвид Сальватор, директор по ИИ в Nvidia, подчеркнул продолжительную ценность архитектуры H100 Hopper.

«На протяжении всей истории Nvidia мы обычно достигаем улучшения производительности от 2 до 2.5 раз благодаря программным инновациям в процессе жизненного цикла продукта», - заявил он.

Nvidia применяла несколько стратегий для повышения производительности в MLPerf 4.0, включая оптимизацию всего стека, тонкую настройку FP8 ядер и оптимизированный cuDNN FlashAttention.

Важность бенчмарков MLPerf для предприятий

Бенчмарки MLPerf предоставляют организациям стандартизированные метрики производительности обучения, но их ценность выходит за пределы простых чисел.

Сальватор отметил, что улучшение производительности достигается с использованием существующего оборудования, что подтверждает способность Nvidia получать устойчивые выгоды от проверенных архитектур. По мере планирования новых внедрений, особенно на месте, потенциал для постоянных улучшений после начальных инвестиций становится критически важным.

«Что касается значения производительности, простой ответ заключается в том, что она обеспечивает возврат инвестиций для бизнеса», - подытожил он.