Прорыв в генерации изображений с помощью ИИ: готовьтесь к наплыву дипфейков (Актуален ли LoRA?)

Новая техника генерации изображений на основе ИИ, названная InstantID, позволяет быстро идентифицировать и создавать изображения, основываясь на одном референсном изображении, согласно недавней статье команды InstantX из Пекина.

Рувен Коэн, консультант по ИИ для компаний из списка Fortune 500, называет InstantID «новым эталоном» в генерации изображений с использованием ИИ. Однако он предупреждает о том, что эта технология может привести к росту содержания deepfake — аудио, изображений и видео — особенно в преддверии выборов 2024 года.

Коэн отметил: «Использование таких инструментов, как InstantID, для создания deepfake вызывает серьезные опасения из-за легкости создания и согласованности выводов, которые не требуют обучения или тонкой настройки». Он подчеркнул, что InstantID может создавать крайне реалистичные deepfake с минимальными вычислительными ресурсами: «Он может эффективно генерировать контент, сохраняющий идентификацию, с минимальным использованием ЦП и без необходимости в графических процессорах».

InstantID против LoRA: Значительный Прорыв

Коэн объясняет, что InstantID превосходит LoRA, которая включает небольшие, тонко настроенные модели, обученные на ограниченных параметрах, таких как конкретные персонажи или художественные стили. Хотя LoRA обеспечила широкий спектр творений, от генерируемой ИИ фанфикции до фотореализма, она, как правило, наиболее известна за создание порнографии и deepfake.

В посте на LinkedIn Коэн заметил: «Прощай, LoRA», подчеркнув, что InstantID представляет собой «deepfake на стероидных препаратах».

В статье команды InstantX под заголовком InstantID: Генерация с сохранением идентичности за ноль секунд говорится о том, что существующие методы, такие как LoRA, сталкиваются с ограничениями из-за высокой потребности в хранилище, обширной тонкой настройки и необходимости в нескольких референсных изображениях. Напротив, InstantID предлагает «модуль plug and play», который эффективно персонализирует изображения в различных стилях, используя всего одно лицо, обеспечивая при этом высокую точность.

Коэн объясняет, что InstantID предназначен для генерации идентификационного контента без предварительного обучения, что принципиально отличается от существующих методов, таких как QLoRA, которые упрощают данные модели, чтобы снизить требования к ресурсам для тонкой настройки. Хотя QLoRA ранее считалась передовым методом, он подчеркивает, что InstantID сосредоточен на быстрой генерации выходных данных, сохраняющих характеристики идентификации входных данных.

Упрощение Создания Deepfake

Основная функция InstantID заключается в сохранении идентичности людей в генерируемом контенте. «Подумайте о согласованности — например, как Дональд Трамп всегда выглядит как Дональд Трамп», - отметил он. Он предупредил, что создание deepfake стало проще, чем когда-либо: «Всего одним щелчком мыши вы можете развернуть это на Hugging Face или воспроизвести».

С развитием технологий последствия доступных инструментов для создания deepfake, таких как InstantID, огромны, вызывая важные вопросы о подлинности и будущем цифрового контента.