Stability AI запускает Stable Code 3B для улучшения генерации кода на основе ИИ и устранения пробелов в коде.

Генеративный ИИ для создания кода: Stability AI представляет Stable Code 3B

Stability AI расширила свой набор инструментов генеративного ИИ с запуском Stable Code 3B — мощной новой модели, оптимизированной для создания кода. Этот анонс стал первой значимой публикацией компании в 2024 году, укрепляя ее репутацию пионера в области генерации текста в изображения с использованием технологии стабильной диффузии.

Компактный, но мощный

Stable Code 3B с 3 миллиардами параметров создан для разработки программного обеспечения и предлагает впечатляющие возможности автозавершения кода, эффективно работая на стандартных ноутбуках — без необходимости в специализированных графических процессорах. Несмотря на меньший размер, модель успешно конкурирует с более крупными аналогами, такими как CodeLLaMA 7B от Meta.

Тенденция к более мелким высокопроизводительным моделям была запущена Stability AI в конце 2023 года с релизами, такими как StableLM Zephyr 3B для генерации текста. Первая версия Stable Code была представлена в августе 2023 года, и компания продолжает регулярно улучшать ее функции.

Совершенствования в Stable Code 3B

Последние улучшения в Stable Code 3B позволяют модели не только предлагать новые строки кода, но и заполнять большие недостающие секции — эта продвинутая функция называется Fill in the Middle (FIM).

Оптимизация обучения включает расширенный контекст с использованием Rotary Position Embeddings (RoPE), что позволяет добиться впечатляющей длины контекста до 100 000 токенов. Эта техника также применяется в других моделях, таких как Long от Meta Llama 2.

Stable Code 3B основан на языковой модели Stable LM 3B от Stability AI и был специально обучен на данных по программной инженерии. Обширное обучение, включающее репозитории кода, форумы разработчиков и различные технические ресурсы, повышает его квалификацию в 18 языках программирования, включая Python, Java, JavaScript, Go, Ruby и C++. Первоначальные тесты показывают, что качество завершения кода соответствует или превосходит результаты моделей более чем в два раза большего размера.

Конкурентная среда

Рынок генеративного ИИ для создания кода быстро развивается, и среди заметных игроков выделяются несколько моделей. Наряду с CodeLLaMA 7B от Meta, StarCoder LLM, разработанная в сотрудничестве с IBM, HuggingFace и ServiceNow, становится основным конкурентом в пространстве с 3 миллиардами параметров. Stability AI утверждает, что Stable Code 3B превосходит StarCoder в таких языках, как Python, C++, JavaScript, Java, PHP и Rust.

Подписка на доступ

Stable Code 3B доступен для коммерческого использования через новую подписную службу членства от Stability AI, впервые анонсированную в декабре. Члены получают доступ не только к Stable Code 3B, но также к набору инструментов ИИ, включая SDXL для генерации изображений, StableLM Zephyr 3B для текстового контента, Stable Audio для генерации аудио и Stable Video для генерации видео.