Nvidia, Hugging Face и ServiceNow представляют новые LLM StarCoder2 для улучшения генерации кода.

Nvidia, Hugging Face и ServiceNow представили StarCoder2 — продвинутый набор моделей открытого доступа, разработанных для улучшения генерации кода с использованием ИИ. В настоящее время доступны три версии модели, обученные на более чем 600 языках программирования, включая редкие, что позволяет компаниям оптимизировать различные задачи программирования в своих производственных процессах. Модели разработаны в рамках открытого проекта BigCode, совместной инициативы ServiceNow и Hugging Face, и предоставляются без роялти по лицензии Open Responsible AI Licenses (OpenRAIL).

«StarCoder2 демонстрирует силу открытого научного сотрудничества в сочетании с ответственными практиками ИИ», — отметил Харму де Врис, руководитель команды разработки StarCoder2 в ServiceNow. «Эта передовая модель увеличивает производительность разработчиков и демократизирует доступ к ИИ для генерации кода, позволяя организациям любого размера реализовать их полный бизнес-потенциал».

StarCoder2: Три Модели для Разных Потребностей

Оригинальная модель StarCoder имела единую 15B-параметровую модель, обученную на 80 языках программирования. В отличие от нее, StarCoder2 предлагает три разных версии — 3B, 7B и 15B — обученные на 619 языках программирования. Объем обучающего набора данных, известного как The Stack, более чем в семь раз превышает предыдущий.

Важно отметить, что для повышения способности моделей к пониманию и генерации кода на языках с низкими ресурсами, таких как COBOL, а также математических выражений и обсуждений исходного кода программ, были внедрены новые методы обучения. Модель 3B использует фреймворк Fast LLM от ServiceNow, в то время как модель 7B основана на фреймворке nanotron от Hugging Face. Оба варианта предназначены для высокопроизводительной генерации кода и рабочих процессов с минимальными вычислительными затратами. Модель 15B оптимизирована с помощью облачного фреймворка Nvidia NeMo и программного обеспечения Nvidia TensorRT-LLM.

Совместные Инновации: ServiceNow, Hugging Face и Nvidia

Хотя производительность этих моделей в различных сценариях программирования еще предстоит проверить, предварительные тесты показывают, что модель 3B демонстрирует сопоставимые результаты с оригинальной моделью StarCoder 15B. Команды предприятий могут настраивать любые из этих моделей, используя свои корпоративные данные для конкретных приложений, включая генерацию исходного кода, автоматизацию рабочих процессов, дополнение кода, расширенное резюмирование и извлечение фрагментов.

Обширное обучение моделей улучшает их способность предоставлять точные и учитывающие контекст прогнозы, что ускоряет процессы разработки и позволяет инженерам сосредотачиваться на более критических задачах. «Каждая программная экосистема имеет уникальный язык программирования, и модели для генерации кода могут существенно повысить эффективность и инновации в разных отраслях», — отметил Джонатан Коэн, вице-президент по прикладным исследованиям в Nvidia. «Наше сотрудничество с ServiceNow и Hugging Face предоставляет безопасные, ответственно разработанные модели, которые расширяют доступ к надежному генерирующему ИИ для мирового сообщества».

Начало работы с StarCoder2

Все модели из семейства StarCoder2 доступны по лицензии Open RAIL-M, предоставляющей доступ без роялти. Поддерживающий код можно найти в репозитории BigCode на GitHub, а модели также доступны для загрузки с Hugging Face. Дополнительно модель 15B можно получить через Nvidia AI Foundation, что позволяет разработчикам экспериментировать прямо из браузера или через API.

Хотя StarCoder обозначает значительный шаг вперед в генерации кода с помощью ИИ, он не единственный в этой области. Конкуренты, такие как OpenAI с Codex (который используется в GitHub Copilot), CodeWhisper от Amazon и другие, такие как Replit и Codenium, также изучают возможности LLM в разработке приложений.