Результаты MLPerf Inference 4.1 подчеркивают прирост производительности, поскольку Nvidia Blackwell впервые проходит тестирование.

MLCommons объявил о своих новых результатах MLPerf Inference, представив новый бенчмарк для генеративного ИИ и первые подтвержденные показатели производительности процессора Nvidia следующего поколения Blackwell.

Как многопрофильная организация, нейтральная к поставщикам, MLCommons следит за стандартами MLPerf для обучения и инференса ИИ. Последние результаты, включающие 964 заявки на производительность от 22 организаций, предоставляют важный обзор быстро меняющегося ландшафта аппаратного и программного обеспечения для ИИ. Предоставляя стандартизированные и воспроизводимые измерения производительности инференса, MLPerf помогает руководителям предприятий принимать обоснованные решения о внедрении ИИ, балансируя между производительностью, эффективностью и стоимостью.

Ключевые моменты MLPerf Inference v4.1

В обновлениях MLPerf Inference v4.1 выделяется ввод бенчмарка Mixture of Experts (MoE), который оценивает производительность модели Mixtral 8x7B. В этом раунде также представлены новые процессоры и системы, включая MI300x от AMD, TPUv6e (Trillium) от Google, Granite Rapids от Intel, SpeedAI 240 от Untether AI и GPU Blackwell B200 от Nvidia.

Дэвид Кантер, основатель MLPerf в MLCommons, выразил восторг по поводу разнообразия представленных систем: «Чем больше систем оценено, тем больше возможностей для сравнения и получения инсайтов в отрасли».

Бенчмарк MoE для инференса ИИ

Одним из значительных достижений в этом раунде является бенчмарк MoE, направленный на решение проблем, связанных с увеличением размеров языковых моделей. Миро Ходак, старший технический сотрудник AMD и председатель рабочей группы по инференсу MLCommons, объяснил, что вместо одной большой модели, подход MoE использует несколько меньших, специализированных моделей, что повышает эффективность во время развертывания.

Бенчмарк MoE оценивает производительность аппаратного обеспечения с использованием модели Mixtral 8x7B, которая включает восемь экспертов с 7 миллиардами параметров каждый. Модель решает три ключевые задачи:

- Ответы на вопросы на основе данных Open Orca

- Математическое мышление с использованием набора данных GSMK

- Кодирование на основе набора данных MBXP

Ходак подчеркнул, что структура MoE не только лучше использует сильные стороны модели по сравнению с традиционными бенчмарками с одной задачей, но и способствует более эффективным решениям ИИ для предприятий.

GPU Blackwell от Nvidia: Обнадеживающие усовершенствования инференса ИИ

Процесс тестирования MLPerf предоставляет поставщикам платформу для демонстрации новых технологий с тщательно рецензируемыми результатами. Среди самых ожидаемых релизов — GPU Blackwell от Nvidia, представленный в марте. Хотя пользователям придется подождать несколько месяцев, чтобы получить доступ к Blackwell, результаты MLPerf Inference 4.1 дают представление о его возможностях.

«Это наша первая публикация измеренных данных по Blackwell, и мы рады поделиться этим», — отметил Дэйв Сальватор из Nvidia на недавнем брифинге.

Бенчмарки выделяют производительность нагрузки генеративного ИИ, основанную на самой большой рабочей нагрузке MLPerf Llama 2 70B. «Мы достигли в 4 раза большей производительности на GPU по сравнению с нашим предыдущим поколением», — отметил Сальватор.

Помимо нового GPU Blackwell, Nvidia продолжает извлекать больше производительности из своего существующего оборудования. Результаты MLPerf Inference 4.1 показывают, что GPU Hopper улучшился на 27% по сравнению с последними бенчмарками шесть месяцев назад благодаря программным усовершенствованиям.

«Эти успехи достигнуты исключительно за счет программного обеспечения», — объяснил Сальватор. «Мы использовали то же оборудование, что и раньше, но постоянная оптимизация программного обеспечения позволяет нам достигать более высокой производительности».

Благодаря этим достижениям последние результаты MLPerf Inference от MLCommons предоставляют ключевые инсайты о будущем аппаратного обеспечения ИИ и его потенциале для применения в различных сферах бизнеса.