Mistral AI ломает стереотипы: выпускает торрент-ссылку на новую открытую LLM.

Смелый шаг: стартап Mistral AI, занимающийся открытыми моделями, сегодня выпустил новую крупную языковую модель (LLM), предоставив только торрент-ссылку для доступа. Это резко контрастирует с запуском Google's Gemini на этой неделе, который Андрейт Карпаты из OpenAI охарактеризовал как "пережеванное профессиональное видео о революции в ИИ".

Одно из демо-видео Google подверглось жесткой критике за чрезмерное редактирование и постановку, направленную на демонстрацию возможностей. В отличие от этого, Mistral выбрал простой подход, поделившись ссылкой на загрузку своей новой модели под названием Mixtral 8x7B.

Пост на Reddit охарактеризовал LLM Mistral как "уменьшенную версию GPT-4", описывая ее как модель смешанных экспертов (MoE) с 8 экспертами, каждый из которых имеет 7 миллиардов параметров. В посте отмечается, что для вывода каждого токена активируются только 2 эксперта, и выдвигается предположение, что GPT-4 также может быть моделью MoE с 8 экспертами, каждый из которых имеет 111 миллиардов параметров и 55 миллиардов параметров общего внимания, всего 166 миллиардов параметров на модель.

Ури Эйлабаев, консультант по ИИ и основатель сообщества "Machine & Deep Learning Israel", подчеркнул репутацию Mistral за подобные релизы — "без каких-либо статей, блогов, кода или пресс-релизов". Защитник открытого кода в ИИ Джей Скамблер разделил это мнение, отметив, что хотя релиз был "определенно необычным", он привлек значительное внимание.

Эта стратегия партизанского маркетинга была широко признана в сообществе ИИ. Предприниматель Джордж Хотц прокомментировал релиз, а Эрик Джанг, вице-президент по ИИ в 1X Technologies и бывший исследователь Google в области робототехники, выразил свою энтузиазм по поводу бренда Mistral, назвав его "одним из моих любимых в сфере ИИ".

Базирующаяся в Париже Mistral AI недавно достигла оценки в 2 миллиарда долларов в результате крупного финансирования, руководимого Andreessen Horowitz. Компания уже признана за рекордный посевной раунд в 118 миллионов долларов — крупнейший в истории Европы — и свою первую крупную языковую модель ИИ, Mistral 7B, выпущенную в сентябре прошлого года. Mistral также находится в центре обсуждений по поводу Закона ЕС об ИИ, активно лоббируя смягчение регулирования открытых моделей ИИ.