Сегодня на весеннем обновлении OpenAI директор по технологиям Мира Мурати представила GPT-4o (GPT-4 Omni) — революционную мультимодальную языковую модель (LLM), которая станет доступна для бесплатных пользователей ChatGPT в ближайшие недели. Кроме того, выйдет новое десктоп-приложение ChatGPT для macOS (поддержка Windows будет добавлена позже), позволяющее пользователям взаимодействовать с платформой не только через веб и мобильные приложения.
«GPT-4o может обрабатывать голос, текст и изображения», — объяснила Мурати, подчеркнув возможность принятия и анализа видео в реальном времени, снимаемого пользователями с помощью приложений ChatGPT для смартфонов, хотя эта функция пока недоступна для широкой аудитории. «Это кажется волшебным, и это замечательно, но мы хотим развеять мифы и позволить вам попробовать это самостоятельно», — добавила она.
Новая модель может реагировать в реальном времени с помощью аудио, определять эмоциональное состояние пользователей по звуковым и видео входам, а также изменять свой голос для выражения различных эмоций, аналогично предложениям от конкурирующего стартапа Hume. В ходе демонстрации один из ведущих попросил ChatGPT на базе GPT-4o рассказать историю с нарастающей драматургией, что модель выполнила быстро. Она интеллектуально прекращает речь, если её прерывают, и внимательно слушает, прежде чем продолжить.
OpenAI поделилась видеозаписями демонстрации возможностей GPT-4o, заявив, что модель может реагировать на аудиовходы всего за 232 миллисекунды, в среднем за 320 миллисекунд — это сравнимо с реакцией человека в разговоре.
OpenAI пояснила, как GPT-4o улучшает пользовательский опыт, отметив: «До появления GPT-4o режим голосовой связи имел задержки 2.8 секунды (GPT-3.5) и 5.4 секунды (GPT-4), использовав три отдельные модели. Это означало, что основная интеллектуальная модель — GPT-4 — не могла полностью воспринимать интонацию, нескольких говорящих или фоновый звук».
С GPT-4o все входные и выходные данные обрабатываются единой нейронной сетью, что позволяет комбинировать текст, изображения и аудио для создания более насыщенных взаимодействий. Модель может даже генерировать несколько видов одного изображения, которые могут быть преобразованы в 3D-объекты.
Тем не менее, OpenAI не объявила о планах открыть исходный код GPT-4o или других новых моделей. Хотя пользователи могут исследовать возможности модели на сайте OpenAI и через API, они не получат доступ к основным весам модели для кастомизации — это вызывает критику со стороны соучредителя Илона Маска.
Введение GPT-4o значительно улучшает бесплатный опыт использования ChatGPT. Ранее доступный только текстовой моделью GPT-3.5, бесплатные пользователи теперь смогут пользоваться более продвинутой моделью с улучшенными возможностями анализа изображений и документов, веб-серфинга, анализа данных, индивидуальных GPT и памяти, сохраняющей предпочтения пользователей через простые подсказки.
В ходе живой демонстрации ведущие продемонстрировали ChatGPT на базе GPT-4o, который переводил произносимые слова в реальном времени между итальянским и английским языками. OpenAI также подчеркнула: «ChatGPT теперь поддерживает более 50 языков для регистрации, входа в систему и пользовательских настроек». Более того, GPT-4o прекрасно справляется с пониманием и обсуждением совместных изображений и может создавать последовательные персонажи для ИИ-арта, что не удавалось многим существующим генераторам ИИ-арта.
Сначала GPT-4o станет доступен платным подписчикам, с последующим поэтапным внедрением для бесплатных пользователей: «Мы начинаем с пользователей ChatGPT Plus и Team, с доступом для предприятий, который появится скоро. У бесплатных пользователей будут ограничения на использование», — заявила OpenAI.
В социальных сетях OpenAI подтвердила, что «ввод текста и изображений» уже внедряется в API, в то время как голосовые и видео возможности будут запущены в ближайшие недели. API предложит GPT-4o за полцены и в два раза быстрее, чем GPT-4 Turbo, с увеличенными лимитами вызовов для сторонних разработчиков.
Генеральный директор OpenAI Сэм Альтман размышлял о развивающейся миссии компании: «Наша цель заключалась в создании ИИ на благо общества, но теперь кажется, что мы будем развивать ИИ, который помогает другим создавать инновации, принося пользу всем».
В своем блоге Альтман отметил: «Наша основная миссия — предоставлять мощные инструменты ИИ по доступной цене. Я горжусь тем, что мы предлагаем лучшую модель в мире бесплатно через ChatGPT».
Новое десктоп-приложение ChatGPT будет выпущено поэтапно, сначала для macOS, а затем для Windows. Мурати сообщила, что в настоящее время более 100 миллионов человек используют ChatGPT, и создано более 1 миллиона индивидуальных GPT.
Несмотря на то, что событие длилось всего 26 минут и некоторые демонстрации были неловкими, скоро запускаемая технология обещает улучшить пользовательский опыт, предлагая более естественный и мощный интерфейс по сравнению с предыдущими версиями.
Рейтинг
