Google DeepMind представила 'Mirasol3B': Прорыв в технологии продвинутого видеоанализа

Google DeepMind недавно объявила о значительном прорыве в области исследований искусственного интеллекта (ИИ), представив новую авторегрессионную модель под названием "Mirasol3B". Эта инновационная модель нацелена на улучшение обработки и понимания длинных видеовходов, значительно повысив мультимодальные учебные возможности.

Mirasol3B применяет прогрессивный подход, интегрируя аудио, видео и текстовые данные в единое и эффективное целое. По словам Исаака Нобла, инженера-программиста Google Research, и Анелии Анджеловой, научного сотрудника Google DeepMind, основная проблема заключается в изменчивости модальностей данных: "Хотя некоторые модальности, такие как аудио и видео, синхронизированы по времени, они часто не совпадают с текстом. Большое количество аудио и видео данных может затмить текст, что требует несоразмерного сжатия, особенно для длинных видео."

Революция в мультимодальном обучении

Чтобы справиться с этой задачей, Mirasol3B отделяет мультимодальное моделирование на отдельные авторегрессионные компоненты. Она обрабатывает синхронизированные по времени входные данные (аудио и видео) отдельно от последовательных, но не обязательно соотносящихся модальностей, таких как текст.

"Наша модель состоит из авторегрессионного компонента для синхронизированных по времени модальностей (аудио и видео) и другого для последовательных, но несинхронизированных модальностей, таких как текстовые входные данные," описывают Нобл и Анджелова.

Это объявление происходит на фоне более широкой тенденции в индустрии использовать ИИ для анализа различных форматов данных. Mirasol3B представляет собой значительный шаг вперед, открывая новые возможности для приложений, таких как ответ на вопросы по видео и обеспечение качества для длинного видеоконтента.

Потенциальные приложения для YouTube

Одним из интригующих применений может стать YouTube, крупнейшая в мире видеоплатформа и ключевой источник дохода для Google. Mirasol3B может повысить вовлеченность пользователей с помощью таких функций, как автоматическая субтитрация, обобщение и персонализированные рекомендации. Пользователи могут получить выгоду от улучшенных возможностей поиска, позволяя фильтровать видео по ключевым словам, темам или настроению, что повысит доступность и обнаружимость контента.

Кроме того, модель может обогатить опыт зрителей, предоставляя контекстные ответы и обратную связь на основе видео, что поможет пользователям эффективно находить связанные ресурсы или плейлисты.

Смешанные реакции в сообществе ИИ

Сообщество ИИ отреагировало на это объявление с сочетанием энтузиазма и скептицизма. Некоторые эксперты хвалят Mirasol3B за ее инновационный подход. Лео Троншон, инженер-исследователь в Hugging Face, выразил свое восхищение в социальных сетях, заявив: "Интересно видеть модели, такие как Mirasol, которые интегрируют несколько модальностей. В настоящее время существует очень немного надежных моделей, эффективно использующих как аудио, так и видео."

Однако есть и те, кто высказывает озабоченность. Гаутам Шарда, студент компьютерных наук в Университете Айовы, отметил: "Похоже, что нет ни кода, ни весов модели, ни обучающих данных, ни даже API. Почему? Было бы здорово увидеть что-то большее, чем просто научная статья."

Веха для будущего ИИ

Это объявление символизирует ключевой момент в области ИИ и машинного обучения, подчеркивая приверженность Google к технологическим инновациям. В то же время это создает вызов для исследователей, разработчиков и пользователей, чтобы обеспечить соответствие модели этическим, социальным и экологическим стандартам.

По мере того как общество переходит к более мультимодальному ландшафту, крайне важно развивать культуру сотрудничества и ответственности. Необходимо создать инклюзивную экосистему ИИ, которая будет приносить пользу всем участникам, способствуя инновациям и многообразию.