Финляндская стартап-компания Silo AI на этой неделе вызвала большой интерес с запуском Poro — открытой крупной языковой модели (LLM), нацеленной на улучшение многоязычных возможностей ИИ для европейских языков. Poro является первой моделью из ряда открытых решений, предназначенных для поддержки всех 24 официальных языков Европейского Союза. Разработанная SiloGen, подразделением генеративного ИИ Silo AI, в сотрудничестве с исследовательской группой TurkuNLP Университета Турку, Poro призвана произвести революцию в обработке языков на континенте.
«Это вопрос цифрового суверенитета», заявил Питер Сарлин, генеральный директор Silo AI. «Мы стремимся создавать модели, которые отражают европейские ценности, культуру и языки. Наша цель — дать возможность европейским компаниям и другим организациям создавать собственные модели, которые сохраняли бы свою ценность в Европе».
Модель Poro 34B с 34,2 миллиарда параметров названа в честь финского слова «посванец». Она использует архитектуру трансформера BLOOM с эмбеддингами ALiBi и была обучена на разнообразном наборе данных, состоящем из 21 триллиона многоязычных токенов, включая английский, финский и языки программирования, такие как Python и Java.
Poro обучается на суперкопьютере LUMI, самом мощном в Европе, расположенном в Каяани, Финляндия, с 512 графическими процессорами AMD Instinct MI250X и впечатляющей производительностью 74 петафлопс.
Сарлин подчеркнул, что Poro решает серьёзную задачу: обучение эффективных моделей естественного языка для менее ресурсных европейских языков, таких как финский. Модель применяет стратегию кросс-языкового обучения, используя данные из более ресурсных языков, таких как английский.
Poro стала второй крупной открытой LLM, появившейся в Европе, после высоко финансируемой Mistral 7B от французского стартапа Mistral AI. Ее запуск подтверждает растущее присутствие Европы в быстро развивающемся мире генеративного ИИ и сигнализирует об ужесточении конкуренции среди различных исследовательских и развивающихся организаций в области ИИ.
Проверка Исследований Poro
SiloGen стремится к прозрачности через программу Poro Research Checkpoints, документируя процесс обучения модели. «Мы будем регулярно публиковать контрольные точки в процессе обучения, что является относительно новой практикой», объяснил Сарлин. «Такая прозрачность в обучении моделей встречается нечасто». Первая контрольная точка Poro 34B охватывает первые 30% обучения. Предварительные тесты показывают, что Poro уже достигает результатов на уровне передовых технологий на этом этапе. В оценке FIN-bench для финского языка Poro превосходит специализированные монолингвальные модели, такие как FinGPT.
«Модель продемонстрировала превосходные результаты для языков с ограниченными ресурсами, имея лишь 30% завершенного обучения», отметил Сарлин. Определяя общие паттерны в родственных языках, Poro отлично справляется даже при ограниченных данных для обучения.
Удивительно, что многоязычные возможности Poro не влияют на ее производительность в английском. Тестирование показывает, что она превосходит существующие модели по оценкам финского языка и может достичь или превзойти результаты на английском.
Открытая альтернатива Техногигантам
Сарлин выступает за открытые модели, такие как Poro, как будущее ИИ, предлагая прозрачную и этичную альтернативу закрытым моделям от технологических гигантов. «Я верю, что мы увидим множество открытых альтернатив», сказал он. «Самое безопасное будущее — это то, которое основано на открытых разработках, с ясной видимостью в построение и архитектуру моделей».
Он добавил, что были предприняты значительные усилия, чтобы обеспечить соответствие как данных, так и самой модели установленным стандартам. Silo AI планирует регулярно публиковать контрольные точки Poro в процессе обучения, стремясь создать широкую семью открытых моделей для всех европейских языков.
Сотрудничество с Университетом Турку
Разработка Poro отражает плодотворное партнерство между Silo AI и Университетом Турку, где исследователи из TurkuNLP стали пионерами в области открытых ресурсов для финского языка. «Моя исследовательская группа и несколько профессоров объединили усилия для масштабирования компании с помощью финансирования», поделился Сарлин. «С более чем 300 сотрудников, большинство из которых имеют докторские степени в области ИИ, мы существенно отличаемся от многих других компаний в отрасли».
Это сотрудничество объединяет практический опыт Silo AI в области ИИ с лидерством университета в исследовании многоязычного моделирования, демонстрируя модель эффективного сотрудничества между промышленностью и академией для улучшения возможностей ИИ для менее ресурсных европейских языков.
Готова ли Европа возглавить открытый ИИ?
Запуск Poro знаменует начало новой фазы открытого сотрудничества и прозрачности в обработке естественного языка. Инициативы, такие как Poro Research Checkpoints, предоставляют информацию и ресурсы, ранее монополизированные крупнейшими технологическими компаниями.
«Мы сотрудничаем с клиентами, такими как Allianz, Rolls Royce, Honda и Philips, и слышали опасения от крупных предприятий касательно будущих регуляций и моделей, которые они могут использовать», рассказал Сарлин.
Если Poro оправдает свои ожидания, она может демократизировать доступ к мощным многоязычным моделям, предоставляя Европе внутреннюю альтернативу гигантам технологий из США. Хотя это пока на ранней стадии, Poro представляет собой значительный шаг к тому, чтобы сделать язык ИИ доступным и открытым, вынося его из закрытых систем в общественное пространство.
Рейтинг
