Grok-2 Boosted: Разработчики обновили код всего за три дня для повышения производительности

Недавно компания xAI, основанная Илоной Маском, привлекла внимание с запуском своего чат-бота на базе большой языковой модели Grok-2, который теперь доступен по подписке за 8 долларов в месяц в социальной сети X. Оба варианта Grok-2, включая более быстрый, но менее мощный Grok-2 mini, продемонстрировали значительное улучшение скорости обработки информации и времени отклика. Это обновление стало возможным благодаря полной переработке кода вывода, выполненной разработчиками xAI Игорем Бабушкиным, Ляньмином Чжэнем и Саидом Малеки всего за три дня.

Бабушкин сообщил в X: «Grok 2 mini теперь в 2 раза быстрее, чем вчера. За последние три дня @lm_zheng и @MalekiSaeed переписали нашу систему вывода с нуля, используя SGLang. Это улучшение позволяет нам обслуживать более крупную модель Grok 2, требующую многохостового вывода, с разумной скоростью. Обе модели не только быстрее, но и немного точнее. Оставайтесь с нами для дальнейших улучшений скорости!»

SGLang, эффективная открытая система для выполнения сложных языковых модельных программ, сыграла ключевую роль в этом переписывании, достигая до 6,4 раз более высокой пропускной способности, чем существующие системы. Она была разработана исследователями Стэнфордского университета, UC Berkeley, Техасского A&M университета и Шанхайского университета Цзяо Тун. SGLang упрощает программирование для приложений языковых моделей, интегрируя фронтенд-язык с бэкенд-исполнением. Она поддерживает различные модели, включая Llama, Mistral и LLaVA, а также работает как с открытыми, так и с API-моделями, такими как GPT-4 от OpenAI.

Основные показатели производительности Grok-2 и Grok-2 Mini

В последнем обновлении таблицы лидеров Lmsys Chatbot Arena Grok-2 занял 2-е место с оценкой Arena Score 1293, основанной на 6686 голосах, что делает его второй самой мощной моделью ИИ в мире, уступая только ChatGPT-4o от OpenAI и равняясь с Google Gemini-1.5 Pro. Grok-2 mini, получивший выгоду от недавних улучшений, поднялся на 5-е место с оценкой 1268 из 7266 голосов, уступая только GPT-4o mini и Claude 3.5 Sonnet. Обе модели отражают стремление xAI к развитию технологий ИИ.

Grok-2 особенно выделяется в математических задачах, занимая 1-е место, и сохраняет крепкие позиции в различных категориях, таких как Hard Prompts, Coding и Instruction-following. Эта производительность ставит Grok-2 выше других ведущих моделей, включая GPT-4o от OpenAI, который сейчас занимает 4-е место.

Будущие разработки

Бабушкин отметил, что главное преимущество Grok-2 mini по сравнению с полной моделью Grok-2 — это его высокая скорость. Он также упомянул о продолжающихся усилиях по дальнейшему улучшению скорости обработки Grok-2 mini, что может сделать его более привлекательным выбором для пользователей, которые ценят высокую производительность при меньших вычислительных затратах.

Добавление Grok-2 и Grok-2 mini в таблицу лидеров Chatbot Arena привлекло значительное внимание в сообществе ИИ, демонстрируя стремление xAI к инновациям и расширению возможностей технологии ИИ. С продолжающимися улучшениями Grok-2 и Grok-2 mini готовы открыть новый путь в развитии ИИ, обещая улучшенную скорость и точность.