NVIDIA запускает Llama-3.1-Nemotron-51B AI модель: прорыв в эффективных вычислениях с использованием H100 GPU.

Недавно NVIDIA анонсировала запуск оптимизированной модели искусственного интеллекта Llama-3.1-Nemotron-51B, основанной на архитектуре Meta Llama-3.1-70B. Эта инновационная модель ИИ использует передовые технологии Neural Architecture Search (NAS) для значительного повышения вычислительной эффективности при сохранении высокой точности, позволяя одной GPU H100 справляться с масштабными задачами, которые обычно требуют более мощных аппаратных ресурсов.

Модель Llama-3.1-Nemotron-51B сохраняет надежные возможности своего предшественника Llama-3.1-70B, при этом размер параметров снижен до 51 миллиарда. Благодаря тщательной настройке с использованием NAS эта модель не только уменьшает потребление памяти и вычислительную сложность, но и существенно снижает эксплуатационные расходы. NVIDIA сообщает, что оптимизированная модель обеспечивает улучшение скорости вывода на 2,2 раза по сравнению с оригинальной версией 70B, демонстрируя исключительную энергоэффективность.

В различных тестах производительности Llama-3.1-Nemotron-51B показала отличные результаты в таких задачах, как MT Bench, MMLU, генерация текста и обобщение, сохраняя почти оригинальную точность и значительно увеличивая скорость обработки. Модель может обрабатывать более крупные рабочие нагрузки на одной GPU H100, достигая более чем четырехкратной производительности.

Данное достижение стало результатом масштабных исследований NVIDIA в области архитектурной оптимизации. Команда применила методы, такие как блочную дистилляцию и дистилляцию знаний, обучая меньшие "студенческие" модели воспроизводить возможности более крупных "учительских" моделей. Этот подход существенно снижает требования к ресурсам, сохраняя при этом точность. Кроме того, применение алгоритма Puzzle оптимизирует различные блоки через оценку и конфигурацию, достигая оптимального баланса между скоростью и точностью.

NVIDIA подчеркивает, что внедрение Llama-3.1-Nemotron-51B приносит инновационные прорывы в сферу ИИ, предлагая более эффективные и экономичные решения для реальных приложений. С развитием технологий ИИ улучшение вычислительной эффективности при сохранении точности остается ключевым приоритетом для отрасли. Инновации NVIDIA открывают новые горизонты в решении этой задачи.

В будущем NVIDIA планирует усилить свои исследования и инновации в технологии ИИ, продвигая ее применение и развитие в различных областях. Выпуск модели Llama-3.1-Nemotron-51B является значительным шагом вперед для NVIDIA в этой быстро развивающейся сфере.