Представляем LCM-LoRA: Революция в генеративном искусстве ИИ в реальном времени

Генеративное искусство на базе ИИ быстро стало одним из самых захватывающих и популярных приложений новых технологий, привлекая миллионы пользователей на платформы, такие как Stable Diffusion и Midjourney. OpenAI недавно интегрировала свою модель генерации изображений DALL-E 3 в широко используемую службу ChatGPT, что делает создание изображений проще, чем когда-либо. Пользователи могут просто ввести описание и наблюдать, как алгоритмы ИИ преобразуют их идеи в визуальное искусство за считанные моменты. Однако в нашем быстро меняющемся мире ожидание даже нескольких секунд для генерации изображений может показаться обременительным.

На этой неделе онлайн-сообщество художников ИИ обсуждает революционную технику машинного обучения, известную как LCM-LoRA (Latent Consistency Model-Low-Rank Adaptation). Разработанная исследователями Университета Цинхуа и платформы обмена ИИ-кодом HuggingFace, эта техника позволяет создавать генеративное искусство в реальном времени.

Что это означает на практике? Посмотрите видео, которые делятся художниками ИИ на X и LinkedIn, чтобы увидеть это в действии. С LCM-LoRA пользователи могут рисовать простые формы или пиктограммы вместе с описательным текстом, а приложения для создания искусств на базе ИИ, такие как Krea.AI и Fal.AI, мгновенно генерируют новые произведения. Изображения можно изменять почти мгновенно по мере того, как пользователи манипулируют формами и рисунками на цифровом холсте. Вы можете попробовать это сами на Fal.AI (если сайт будет доступен).

Техника LCM-LoRA работает как для 2D-изображений, так и для 3D-объектов, позволяя художникам быстро создавать погружающие среды для расширенной реальности (AR), виртуальной реальности (VR), видеоигр и потенциально кинопроизводства — значительно ускоряя творческий процесс и снижая затраты.

"Всё изменится," заявил основатель стартапа и бывший инженер Google AI на LinkedIn, что разделяет множество людей в сообществе искусств ИИ. Другой пользователь на X заметил: "Целая новая эпоха генеративного ИИ на пороге." Профессор Итан Моллик из Уортонской школы бизнеса отметил, что "в ближайшее время мы увидим множество новых пользовательских опытов" благодаря этой технике.

Что такое LCM-LoRA и как это работает? Ранние демонстрации интеграции LCM-LoRA в приложения действительно впечатляющие и указывают на потенциальный поворотный момент для генеративного ИИ в визуальных искусствах. Так что же представляет собой технологическая инновация LCM-LoRA? Как утверждают исследователи, LCM-LoRA — это "универсальный модуль ускорения без обучения", который можно интегрировать в различные настроенные модели Stable Diffusion.

Проще говоря, это алгоритм, который ускоряет процесс преобразования текста или изображений в новое ИИ-сгенерированное искусство с использованием популярной модели открытого кода Stable Diffusion и её модифицированных версий. LCM-LoRA достигает этого, сокращая необходимые "шаги выборки", которые модель ИИ должна пройти, чтобы преобразовать исходный текст или изображения в качественное изображение. Это позволяет моделям Stable Diffusion работать быстрее и с меньшими вычислительными ресурсами, что приводит к эффектным результатам в реальном времени.

"Универсальная" природа LCM-LoRA означает, что она совместима с различными приложениями, основанными на Stable Diffusion. Остаётся выяснить, может ли она быть адаптирована для собственных моделей, таких как DALL-E 3 от OpenAI или Midjourney. Мы связались с одним из авторов статьи о LCM-LoRA для получения дополнительных сведений и обновим эту статью по мере появления новой информации.