Google запускает PaliGemma: свою первую открытую мультимодальную модель зрения и языка для повышения возможностей ИИ.

Google представил PaliGemma, новую многомодальную модель визуального языка из коллекции легких открытых моделей Gemma. Она предназначена для создания подписей к изображениям, визуального ответа на вопросы и поиска изображений. PaliGemma присоединяется к своим аналогам — CodeGemma и RecurrentGemma — и уже доступна для разработчиков.

Анонсированная на конференции разработчиков Google, PaliGemma уникальна в семье Gemma, так как является единственной моделью, сосредоточенной на переводе визуальной информации в письменный текст. Эта небольшая языковая модель (SLM) эффективно работает, не требуя больших объемов памяти или вычислительных мощностей, что делает ее идеальной для устройств с ограниченными ресурсами, таких как смартфоны, устройства IoT и персональные компьютеры.

Разработчиков привлекает PaliGemma ее потенциалом для улучшения приложений. Она может помогать пользователям генерировать контент, улучшать поисковые возможности и помогать слабовидящим лучше понимать окружающую среду. В отличие от многих облачных ИИ-решений, основанных на крупных языковых моделях (LLM), SLM, такие как PaliGemma, помогают снизить задержку — минимизируя время между вводом и ответом. Это делает ее предпочтительным выбором для приложений в условиях нестабильного интернет-соединения.

Хотя веб- и мобильные приложения являются основными областями применения PaliGemma, есть потенциал для интеграции в носимые устройства, такие как смарт-очки, которые могут конкурировать с Ray-Ban Meta Smart Glasses, или такие устройства, как Rabbit r1 и Humane AI Pin. Эта модель также может улучшить функциональность домашних и офисных роботов. ПaliGemma, основанная на тех же исследованиях и технологиях, что и Google Gemini, предлагает разработчикам знакомую и надежную основу для их проектов.

В дополнение к выпуску PaliGemma Google представил свою самую масштабную версию Gemma, содержащую ошеломляющие 27 миллиардов параметров.