В феврале 2023 года команда исследователей Чикагского университета, возглавляемая профессором информатики Беном Чжао, представила Glaze — бесплатный программный инструмент, использующий машинное обучение для тонкого изменения пикселей загруженного пользователями искусства. Это изменение влияет на восприятие стиля произведения искусственным интеллектом, не затрагивая его внешний вид для людей. Например, нарисованная от руки иллюстрация может восприниматься ИИ как акварель или CGI-арт.
Основная цель Glaze — помочь художникам защищаться от ИИ-моделей, воспроизводящих их художественные стили, гарантируя при этом сохранение оригинальности их работ. Согласно исследованию Шона Шана, Дженны Криан, Эмили Венгер, Хайтао Чжена, Раны Ханокки и Бена Чжао, инструмент направлен на защиту художников от потери доходов и репутации, подчеркивая, что их стиль является неотъемлемой частью их идентичности. Несанкционированное использование их уникальных стилей сопоставляется с кражей личности.
Художники могут создать изображение, применить Glaze, а затем загрузить измененную версию в сеть, что обеспечивает защиту их работ от легкого обучения ИИ. Застекленное произведение искусства выглядит похоже на оригинал для человеческих зрителей, но для ИИ оно является принципиально иным. Хотя Glaze работает эффективно, он наилучшим образом подходит для произведений, ранее не обрабатываемых ИИ.
К марту 2024 года Glaze собрал более 2,3 миллиона загрузок и привлек внимание к следующему инструменту с открытым исходным кодом, Nightshade, целью которого является «отравление» ИИ-моделей, обученных на творениях художников без их согласия.
Через год команда проекта Glaze объявила о выпуске Glaze 2, предназначенного для более быстрой работы и усовершенствованной защиты от современных ИИ-моделей, включая Stable Diffusion XL — открытый генератор текста в изображение, способный имитировать конкретных художников.
Улучшения в Glaze 2
Первоначально инструмент Glaze обрабатывал одно произведение в среднем за 1,2 минуты на GPU Titan RTX и 7,3 минуты на процессоре Intel i7. Несмотря на высокую эффективность (более 92% успеха в предотвращении подражания стилю), Glaze 2 предлагает значительные улучшения скорости: время обработки сократилось на 50% до 500% в зависимости от аппаратного обеспечения пользователя. Например, для некоторых старых GPU время обработки уменьшилось с 4 минут до 2 минут на изображение, в то время как пользователи Mac с процессорами M1-M3 могут увидеть увеличение производительности до 5 раз.
Glaze 2 обеспечивает более сильную защиту от моделей, таких как SDXL, особенно для гладких художественных стилей, таких как аниме и мультфильмы. Чжао отметил в недавнем письме, что Glaze 2 создает более разрушительные артефакты, затрудняя репликацию защищенных работ ИИ.
Когда его спросили о защите от подражания стилям других генераторов ИИ, таких как DALL-E 3 от OpenAI или Midjourney, Чжао подчеркнул, что основное внимание Glaze сосредоточено на Stable Diffusion, так как это преобладающая модель, контролируемая пользователями, для подражания стилям художников.
Будущее развитие
Проект Glaze Чикагского университета полностью сосредоточен на новой версии, и Чжао подтвердил, что Glaze 1 больше не будет доступен для загрузки. «Glaze 2 является заменой, которая должна превзойти Glaze 1 во всех аспектах», — заявил он.
Кроме того, команда исследует возможность расширения защиты Glaze на видеоформаты, как было объявлено в их аккаунте в X. Они проводят пользовательские исследования для оценки того, насколько эффективно ИИ может воспроизводить видеокадры и насколько успешно новая версия Glaze может нарушать это подражание.
Если Glaze 2 будет так же успешен, как его предшественники, он станет ценным активом для художников, стремящихся защитить свои работы от несанкционированного извлечения данными ИИ.