NVIDIA представляет новую модель ИИ с 8 миллиардами параметров: высокая точность и эффективность, совместимость с рабочими станциями RTX.

NVIDIA представляет Mistral-NeMo-Minitron 8B: Компактная языковая модель ИИ

21 августа NVIDIA анонсировала выпуск Mistral-NeMo-Minitron 8B, компактной языковой модели ИИ, разработанной для исключительной точности и вычислительной эффективности. Эта модель оптимизирована для развертывания в центрах обработки данных с поддержкой GPU, облачных вычислительных средах и рабочих станциях.

После недавнего сотрудничества с Mistral AI для запуска открытой модели Mistral NeMo 12B, новая Mistral-NeMo-Minitron 8B обладает 8 миллиардами параметров и специально предназначена для систем с графическими картами NVIDIA RTX. Улучшения, внесенные в модель Mistral NeMo 12B, включали обрезку параметров и дистилляцию знаний, с результатами, подробно изложенными в статье "Компактные языковые модели с использованием обрезки и дистилляции знаний".

Процесс обрезки включает удаление весов модели, которые минимально способствуют точности, что эффективно сокращает размер нейронной сети. На этапе дистилляции команда исследователей переобучила обрезанную модель, используя меньший набор данных, что успешно снизило потерю точности, вызванную обрезкой.

Что касается производительности, Mistral-NeMo-Minitron 8B демонстрирует значительные преимущества по девяти популярным бенчмаркам языковых моделей, показывая высокие результаты в понимании языка, здравом смысле, математическом обосновании, суммировании и генерации точных ответов.

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles