Reka, стартап в области ИИ из Сан-Франциско, основанный исследователями из DeepMind, Google и Meta, запустил новый многомодальный языковой модель Reka Core. Эта модель, позиционируемая как «самая большая и мощная» компании, была создана с нуля с использованием тысяч GPU.
На сегодняшний день Reka Core доступна через API, для локального внедрения или на устройствах, и стала третьим дополнением к семейству языковых моделей компании. Она превосходно понимает множество модальностей, включая текст, изображения, аудио и видео. Несмотря на то что обучение модели заняло менее года, её качество работы сопоставимо с результатами таких гигантов, как OpenAI, Google и Anthropic.
«Наша способность обучать высокоэффективные модели за короткий срок выделяет нас на фоне конкурентов», — отметил Дани Ёгатама, соучредитель и генеральный директор компании в недавнем интервью.
Reka Core была протестирована на «Проблеме трёх тел» от Netflix, успешно переводя действия на экране в текст. Главный ученый и соучредитель Reka, И Тай, подчеркнул, что модель была разработана с использованием «тысяч H100». Конкурировать с ведущими моделями, такими как GPT-4 от OpenAI и Claude 3 Opus от Anthropic, — это значительное достижение, однако Тей заверил, что производительность Core продолжает расти.
Что предлагает Reka Core?
Точное количество параметров в Reka Core не раскрыто, но модель описана как «очень большая» (предыдущая версия, Reka Flash, имела 21 миллиард параметров). Модель была обучена на различных источниках данных, включая лицензированные, общедоступные и синтетические данные в текстовом, аудио, видео и графическом форматах.
Такое комплексное обучение позволяет Reka Core обрабатывать множество модальностей и точно реагировать в различных областях, таких как математика и программирование, с выдающимися способностями к рассуждению. Модель поддерживает 32 языка и обладает обширным контекстным окном в 128 000 токенов, что делает её подходящей для работы с длинными документами. Ёгатама отметил, что Core — лишь вторая модель после Gemini Ultra от Google, которая охватывает все модальности и предоставляет высококачественные результаты.
В тестах производительности Reka Core превзошла Gemini Ultra в восприятии видео, набрав 59.3 против 54.3. В тестах изображения MMMU она близко подошла к результатам GPT-4 (56.8), Claude 3 Opus (59.4) и Gemini Ultra (59.4), получив 56.3. В отличие от этого, модель Grok от xAI Илона Маска набрала лишь 53.6. Независимые оценки классифицировали Reka Core как вторую в области многомодальной производительности.
Кроме того, Core в тестах подтвердила или превзошла производительность известных моделей во многих бенчмарках. В тестах на знание MMLU она набрала 83.2, близко следуя за GPT-4, Claude 3 Opus и Gemini Ultra. В задачах рассуждений и программирования Reka Core превзошла GPT-4, получив 92.2 и 76.8 соответственно.
Для достижения такой производительности в краткие сроки компания применила обратный подход в разработке. Вместо традиционного обучения модели они установили целевой показатель производительности и сформировали необходимые требования к объему данных и GPU для его достижения.
Партнерства и планы на будущее
С акцентом на многомодальные возможности и конкурентное ценообразование — 10 долларов за миллион входных токенов и 25 долларов за миллион выходных токенов — Reka стремится исследовать разнообразные сферы применения в отраслях, таких как электронная коммерция, игры, здравоохранение и robotics. Для сравнения, OpenAI берет такие же деньги за входные токены, но 30 долларов за выходные.
Хотя Reka все еще находится на ранних стадиях, компания активно работает, чтобы бросить вызов доминированию OpenAI, Anthropic и Google. Стартап уже начал сотрудничество с отраслевыми партнерами; например, Snowflake недавно встроила Reka Core и Flash в свой сервис Cortex для разработки приложений на основе языковых моделей. Также действуют партнерства с Oracle и AI Singapore, который объединяет исследовательские учреждения Сингапура.
Ёгатама отметил, что с момента запуска первых моделей в семье Reka (Flash и Edge) возник высокий интерес со стороны предприятий, что привело к росту клиентской базы. Скоро ожидаются подробности о партнерствах.
Первый год был сосредоточен на выводе моделей на рынок, теперь Reka планирует улучшить свои предложения, одновременно наращивая бизнес-операции. Команда стремится к улучшению производительности Core и разработке её следующей версии.
Несмотря на текущие достижения, Ёгатама уточнил, что компания не планирует открывать свои технологии в ближайшее время. Он поддерживает принципы открытого кода, но подчеркивает необходимость найти баланс для обеспечения устойчивого роста бизнеса.
Конкурентная среда Reka Core
С появлением Reka Core на конкурентном рынке ИИ, она демонстрирует многообещающие возможности, которые ставят её в один ряд с ведущими моделями на сегодняшний день.
Рейтинг
