Генеральный директор Mistral подтвердил утечку нового открытого источника AI-модели, приближающейся по производительности к GPT-4.

Последние несколько дней стали настоящим ураганом для сообщества открытого ИИ, даже по его быстрым стандартам.

Хронология событий:

28 января пользователь с именем "Miqu Dev" загрузил коллекцию файлов на HuggingFace, ведущую платформу для моделей открытого ИИ. Этот загрузка представила "miqu-1-70b," кажущийся новым большим языковым моделью (LLM). Запись на HuggingFace, доступная на момент написания, отметила, что эта LLM использует тот же формат запросов, что и Mistral, известная парижская компания ИИ, известная благодаря своей модели Mixtral 8x7b. Многие считают Mixtral лучшей открытой LLM на данный момент, являющейся тонко настроенной версией Llama 2 от Meta.

Вирусное открытие:

В тот же день анонимный пользователь на 4chan (возможно, "Miqu Dev") поделился ссылкой на файлы miqu-1-70b. С ростом интереса пользователи на X (ранее Twitter) начали обсуждать впечатляющую производительность модели по общим задачам LLM, как показывает тестирование, соперничая с GPT-4 от OpenAI на EQ-Bench.

Реакция сообщества:

Исследователи в области машинного обучения заинтересовались этой новостью в LinkedIn. Максима Лабонн, ученый в области МЛ в JP Morgan & Chase, задался вопросом, не стоит ли "Miqu" за "MIstral QUantized." Он отметил: "Благодаря @152334H, теперь мы имеем доступ к не квантизированной версии miqu," подразумевая возможность улучшенной производительности по сравнению с GPT-4 в будущих версиях.

Квантование — это техника, позволяющая ИИ-моделям работать на менее мощном оборудовании за счет упрощения сложных числовых последовательностей в их архитектуре.

Спекуляции и подтверждения:

Появились спекуляции, что "Miqu" может быть новым слитым моделью Mistral, учитывая осторожный подход компании к обновлениям. Соучредитель и CEO Mistral Артур Менш подтвердил эту теорию, объявив на X, что один из сотрудников клиента с ранним доступом случайно слил квантизированную версию старой модели, которую они открыто обучали. Менш пояснил: "Мы переобучили эту модель на базе Llama 2 в день, когда получили доступ к нашему кластеру." Вместо того чтобы требовать удаления записи на HuggingFace, Менш оставил комментарий с предложением автору правильно указать источник.

Влияние на мир ИИ:

Замечание Менша "оставайтесь с нами!" предполагает, что Mistral разрабатывает версию модели "Miqu," которая может соперничать с GPT-4. Это может стать ключевым моментом не только для открытого генеративного ИИ, но и для всего ИИ-ландшафта. С момента своего релиза в марте 2023 года GPT-4 был признан самой продвинутой LLM, превышающей даже долгожданные модели Gemini от Google.

Появление открытой модели, аналогичной GPT-4, может оказать значительное конкурентное давление на OpenAI, особенно в условиях растущего интереса бизнеса к моделям, сочетающим в себе открытые и проприетарные элементы. Хотя OpenAI может сохранить преимущество благодаря более быстрой версии GPT-4 Turbo и GPT-4V (визуализация), сообщество открытого ИИ быстро сокращает разрыв. Остается главный вопрос: хватит ли старта и уникальных предложений OpenAI, чтобы удержать его на передовой LLM?