Apple на переднем крае AI-революции
Apple, известная своими технологическими инновациями, снова возглавляет революцию в области искусственного интеллекта. В последнее время компания из Купертино представила значительные достижения в области AI-исследований через две революционные работы, демонстрируя новые методы создания 3D-аватаров и оптимизации вывода языковых моделей. Эти разработки обещают предоставить погружающий визуальный опыт и позволить сложным AI-системам бесперебойно работать на потребительских устройствах, таких как iPhone и iPad.
Погружающие 3D-аватары с HUGS
Первая работа представляет метод HUGS (Human Gaussian Splats) для генерации анимированных 3D-аватаров из коротких монохромных видео (видео, снятых одной камерой). Главный автор Мухаммед Коджабас объясняет: «Наш метод обрабатывает видео всего с 50-100 кадрами, автоматически разделяя статичный фон от анимируемого человеческого аватара менее чем за 30 минут».
HUGS использует эффективную технику рендеринга под названием 3D Gaussian splatting для представления как человеческой модели, так и фоновой сцены. Модель изначально основана на статистической форме тела SMPL, но HUGS позволяет вносить корректировки, захватывая тонкие детали, такие как одежда и волосы. Новый нейронный модуль деформации обеспечивает реалистичную анимацию с помощью линейной смешанной скинниг, обеспечивая плавные движения без артефактов. Коджабас добавляет, что HUGS облегчает синтез новых поз и генерацию новых перспектив для человеческих аватаров и их окружения.
Сравнительно с ранними методами, HUGS достигает скорости обучения и рендеринга до 100 раз быстрее. После всего 30 минут оптимизации на стандартном игровом GPU результаты становятся фотореалистичными, превосходя современные техники, такие как Vid2Avatar и NeuMan, по качеству 3D-восстановления. Эта инновационная технология позволяет пользователям помещать цифровые аватары в новые сцены с помощью одного видео, обновляя изображения 60 раз в секунду для создания плавного и реалистичного опыта. Представьте, что вы создаете динамичные 3D-сцены прямо со своего iPhone!
Улучшение эффективности вывода AI
Во второй работе Apple исследователи решают критическую задачу развертывания крупных языковых моделей (LLM) на устройствах с ограниченной памятью. Современные языковые модели, такие как GPT-4, имеют сотни миллиардов параметров, что делает их дорогими в эксплуатации на потребительском оборудовании.
Предложенная система минимизирует переданную информацию от флеш-памяти к ограниченной DRAM во время вывода. Главный автор Кейван Ализаде объясняет: «Мы разработали модель затрат вывода, которая соответствует поведению флеш-памяти, что позволяет оптимизировать передачу данных и считывать их большими блоками».
Исследование вводит две основные техники: «Оконное» форматирование, которое повторно использует недавние активации, и «пакетирование строк и столбцов», которое обрабатывает большие блоки данных, организуя строки и столбцы вместе. На процессоре Apple M1 Max эти методы улучшают задержку вывода в 4-5 раз, в то время как производительность GPU увеличивается в 20-25 раз.
Соавтор Мехрдад Фараджтабар отмечает: «Этот прорыв необходим для развертывания сложных LLM в условиях ограниченных ресурсов, улучшая их доступность». Эти оптимизации могут позволить сложным AI-ассистентам и чат-ботам работать без перебоев на iPhone, iPad и других мобильных устройствах.
Стратегическое видение Apple
Эти инновации подчеркивают приверженность Apple исследованию и применению AI. Однако эксперты призывают к осторожности, подчеркивая необходимость ответственной интеграции технологий в потребительские продукты, особенно в вопросах конфиденциальности и потенциального злоупотребления.
Поскольку Apple продолжает внедрять эти достижения, она не просто улучшает свои устройства, но также предвосхищает будущие потребности в AI-сервисах. Оптимизация сложных AI-моделей для устройств с ограниченной памятью может прокладывать путь к новому поколению приложений, ранее считавшихся невыполнимыми.
Публикуя эти исследования, Apple также вносит вклад в более широкое сообщество AI, способствуя дальнейшему развитию в данной области. Эта инициатива отражает уверенность Apple как технологического лидера и ее преданность расширению границ инноваций.
Если подойти к этому вопросу обдуманно, последние достижения Apple могут изменить облик искусственного интеллекта. Фотореалистичные цифровые аватары и мощные AI-ассистенты на портативных устройствах, когда-то считавшиеся фантастическими, теперь находятся на горизонте благодаря先锋ной работе Apple.
Рейтинг
