Оценки сторонних экспертов не смогли воспроизвести показатели производительности, ранее озвученные Мэттом Шумером, соучредителем и генеральным директором стартапа AI HyperWrite, касающиеся Reflection 70B. В результате Шумер столкнулся с обвинениями в мошенничестве на платформе X.
В мире ИИ появился новый претендент: Шумер объявил о запуске Reflection 70B, крупной языковой модели (LLM), основанной на открытом исходном коде Meta Llama 3.1-70B Instruct. Эта модель включает инновационную технологию самокоррекции ошибок, демонстрируя впечатляющие результаты в сторонних тестах.
В своем посте на X Шумер назвал Reflection 70B «лучшей открытой моделью ИИ в мире», поделившись графиком производительности, который подчеркивает превосходство модели.
Тестирование и Производительность
Reflection 70B прошла обширное тестирование, включая такие бенчмарки, как MMLU и HumanEval, с использованием LLM Decontaminator от LMSys для обеспечения чистоты результатов. Найденные данные показывают, что Reflection стабильно превосходит модели из серии Llama от Meta и близко конкурирует с ведущими коммерческими моделями.
Пользователи могут ознакомиться с моделью на демонстрационном сайте. Однако Шумер отметил, что объявление привлекло значительный трафик, и его команда оперативно ищет дополнительные GPU для удовлетворения спроса.
Уникальные Возможности Reflection 70B
Шумер подчеркнул, что Reflection 70B предоставляет уникальные преимущества, особенно в сфере выявления и исправления ошибок. Он отметил: «LLM часто генерируют неправильные ответы без возможности самокоррекции. Что если бы LLM могла научиться распознавать и исправлять свои собственные ошибки?»
Эта идея лежит в основе названия «Reflection», так как модель может оценивать свои выводы на точность перед их предоставлением пользователю. Ее преимущество заключается в "настройке отражения", методе, позволяющим определять недостатки в логике и исправлять их до завершения ответа.
Reflection 70B вводит специальные токены для структурированного рассуждения и коррекции ошибок, благодаря которым взаимодействие с пользователем становится плавным. Во время работы модель предоставляет выводы рассуждения в определенных тегах, что позволяет в реальном времени вносить исправления при обнаружении ошибок.
Демонстрация включает предлагаемые запросы, такие как подсчет буквы «r» в слове «Strawberry» и определение, какое число больше, 9.11 или 9.9. Эти задания многие модели ИИ, включая известные проприетарные, часто решают неправильно. В наших тестах Reflection 70B в итоге предоставила правильный ответ после небольшой задержки.
Эта функция делает модель особенно ценной для задач, требующих высокой точности, так как она разделяет рассуждения на отдельные этапы для повышения точности. Reflection 70B доступна для загрузки на Hugging Face, API-доступ ожидается позже сегодня через Hyperbolic Labs.
Ожидание Reflection 405B
Выпуск Reflection 70B — это лишь начало. Шумер анонсировал, что через неделю выйдет еще более крупная модель, Reflection 405B. Он также отметил, что идет работа по интеграции Reflection 70B в основной продукт AI-помощника HyperWrite, заявив: «Скоро я поделюсь дополнительной информацией.»
Reflection 405B нацелена на то, чтобы превзойти даже лучшие закрытые модели, которые доступны в настоящее время. Шумер также сообщил, что будет опубликован детализированный отчет о процессе обучения и бенчмарках, предлагающий инсайты о новшествах в серии Reflection.
Построенная на базе Llama 3.1 70B Instruct от Meta, Reflection 70B сохраняет совместимость с существующими инструментами и процессами через формат чата Llama.
Вклад Искусственных Данных от Glaive
Ключевым фактором успеха Reflection 70B являются синтетические данные, созданные стартапом Glaive, сосредоточенным на разработке специализированных наборов данных. Платформа Glaive позволяет быстро обучать небольшие целенаправленные языковые модели, что находит решение серьезной проблемы в разработке ИИ: доступности качественных, специфичных для задач данных.
Создавая синтетические наборы данных, адаптированные под конкретные нужды, Glaive позволяет компаниям эффективно и экономично настраивать модели. Компания уже добилась успеха с меньшими моделями, такими как модель на 3 млрд параметров, которая превзошла более крупные модели с открытым исходным кодом в заданиях, таких как HumanEval. Glaive получила финансирование в размере 3.5 миллиона долларов от Spark Capital для поддержки своей идеи демократизации экосистемы ИИ.
Используя технологии Glaive, команда Reflection смогла получить качественные синтетические данные, значительно ускорив разработку. По словам Шумера, процесс тренировки занял три недели и включал пять итераций модели с использованием кастомного набора данных, построенного с помощью систем Glaive.
Фон HyperWrite
Несмотря на то, что может показаться, что Reflection 70B появилась внезапно, Шумер на протяжении многих лет активно работает в ИИ-секторе. Он стал соучредителем компании, первоначально называвшейся Otherside AI, в 2020 году вместе с Джейсоном Купербергом в Мелвилле, Нью-Йорк. Компания приобрела популярность с HyperWrite, своим флагманским продуктом, который эволюционировал из расширения Chrome для написания электронных писем в полноценного ИИ-помощника, способного составлять эссе и организовывать письма. По состоянию на ноябрь 2023 года HyperWrite имела два миллиона пользователей, что принесло ее основателям место в списке Forbes "30 до 30".
В марте 2023 года HyperWrite привлекла 2.8 миллиона долларов от инвесторов, включая Madrona Venture Group, что позволило внедрить инновационные функции на основе ИИ, трансформирующие веб-браузеры в виртуальных помощников, выполняющих различные задачи.
Шумер подчеркивает, что точность и безопасность являются приоритетами для HyperWrite, особенно в свете углубленной автоматизации. Платформа постоянно улучшает свой инструмент личного помощника, демонстрируя такую же заботу о точности и ответственности, как и в Reflection 70B.
Будущие Перспективы HyperWrite и Моделей Reflection
В будущем Шумер планирует еще более значительные достижения для серии Reflection. Он верит, что грядущий запуск Reflection 405B значительно превзойдет производительность проприетарных моделей, таких как GPT-4o от OpenAI.
Это ставит перед всеми участниками рынка новые вызовы, включая OpenAI, которая, как сообщается, ищет значительные новые инвестиции от крупных игроков, таких как Nvidia и Apple, а также перед другими провайдерами закрытых моделей, такими как Anthropic и Microsoft.
Пока рынок генеративного ИИ продолжает эволюционировать, баланс сил вновь смещается. Дебют Reflection 70B знаменует собой ключевой момент для открытого ИИ, предоставляя разработчикам и исследователям доступ к мощному инструменту, соперничающему с закрытыми моделями. Благодаря своему инновационному подходу к рассуждениям и исправлению ошибок, Reflection может установить новую планку для возможностей открытых моделей.
Рейтинг
