Запуск API Stable Diffusion 3: Подготовьтесь к предстоящему релизу Stable Assistant!

После всего лишь двух месяцев в режиме предварительного просмотра, Stability AI с радостью анонсирует запуск своего следующего поколения генеративной AI модели Stable Diffusion 3, а также ранний обзор своей инновационной технологии чат-бота, названной «Stable Assistant».

Изначально анонсированная в феврале как предварительная версия, Stable Diffusion 3 теперь доступна через API на платформе разработчиков Stability AI. Этот API облегчает интеграцию мощных возможностей текстово-изображенческой генерации модели в различные сервисы и приложения. Кроме того, представлена турбо-версия — Stable Diffusion 3 Turbo — для повышения производительности.

С помощью Stable Diffusion 3 Stability AI применяет современные методы машинного обучения, направленные на значительное улучшение качества изображений и типографики. Основное внимание при релизе API было уделено подготовке модели к реальному производству.

«Мы внедрили множество мер безопасности, чтобы предотвратить злоупотребления SD3, постоянно совершенствуя эти меры на основе отзывов пользователей», — сказал Кристиан Лафорт, технический директор и временный со-генеральный директор Stability AI.

Скоро будет открыт открытый модель

Хотя Stable Diffusion 3 уже доступна через API, открытая модель пока не выпущена, но будет скоро. «Мы будем постоянно улучшать модель перед ее открытым релизом», — подтвердил Лафорт. «Согласно нашему обязательству в области открытого генеративного AI, мы вскоре сделаем доступными веса модели для самостоятельного хостинга через членство в Stability AI».

Эта стратегия членства, впервые анонсированная в декабре, направлена на создание новой модели дохода для компании.

Партнерство с Fireworks улучшает производительность API

Партнерство Stability AI с Fireworks AI повысит производительность API Stable Diffusion 3. Оптимизация инференса API для генеративных AI приложений — особенно в больших масштабах — может быть сложной задачей, но экспертиза Fireworks AI в компиляторах машинного обучения поможет решить эти проблемы.

«Fireworks AI являются ведущими экспертами в области ML-компиляторов, что является жизненно важным элементом для оптимизации скорости вывода наших моделей», — отметил Лафорт. «Сотрудничество с ними позволяет нам предложить самый быстрый и надежный API-платформу корпоративного уровня на рынке».

Инновации в Stable Diffusion 3

В основе Stable Diffusion лежит модель диффузии, с рядом инноваций, усиливающих ее возможности. Важно отметить, что внедрение архитектуры Multimodal Diffusion Transformer (MMDiT) улучшает понимание текста и точность типографики.

Для модели SD3-Turbo, которая предлагает более высокую производительность, используется новый метод под названием Latent Adversarial Diffusion Distillation (LADD). «По сути, SD3-Turbo в 10 раз быстрее, чем SD3, при этом производит изображения почти такого же высокого качества», — объяснил Лафорт.

Представление Stable Assistant

Помимо новой модели Stable Diffusion, Stability AI представила раннюю бета-версию Stable Assistant — чат-бота, работающего на основе технологий генерации текста и изображений компании. Подобно интеграции ChatGPT Plus от OpenAI с DALL-E 3, Stable Assistant позволяет генерировать изображения через беседы.

Лафорт описывает Stable Assistant как удобный чат-бот, который сочетает возможности Stable Diffusion 3 и Stable LM 2 12B, который был недавно выпущен. Этот инструмент не только генерирует изображения из обсуждений, но и предоставляет информативные ответы, помогает в написании проектов и улучшает контент с помощью релевантных изображений.

«Stable Assistant нацелен стать нашим мультимодальным чат-ботом, предлагая доступ ко всем нашим моделям и API-сервисам без необходимости в технической экспертизе», — заявил Лафорт. «Мы планируем продолжать улучшать его возможности, добавляя функционал редактирования изображений и интегрируя модели из других модальностей, включая видео, 3D, аудио и код».