生成式人工智能代码生成:Stability AI 发布 Stable Code 3B
Stability AI 推出了新的代码生成模型 Stable Code 3B,进一步增强了其生成式人工智能工具套件。这是公司在 2024 年的首次重大发布,建立在其在Stable Diffusion技术下开创图像生成领域的声誉之上。
小巧而强大
Stable Code 3B 拥有 30 亿个参数,专为软件开发设计,能够高效地进行代码补全,且在标准笔记本电脑上运行良好,无需专用 GPU。尽管体积较小,但它在性能上与更大的模型如 Meta 的 CodeLLaMA 7B 相抗衡。
Stability AI 于 2023 年底引领了小型高性能模型的趋势,早前发布了如 StableLM Zephyr 3B 这样的文本生成工具。Stability AI 于 2023 年 8 月首次推出 Stable Code,并不断提升其功能。
Stable Code 3B 的进步
Stable Code 3B 的最新改进使模型不仅能够建议新代码行,还可以填充较大的不完整代码段,这一高级功能被称为“填充中间”(Fill in the Middle, FIM)。
训练优化包括使用旋转位置嵌入(Rotary Position Embeddings, RoPE)扩展上下文大小,使其能够处理长达 100,000 词的上下文。这一技术同样被其他模型,如 Meta 的 Llama 2 Long 所采用。
Stable Code 3B 基于 Stability AI 的 Stable LM 3B 自然语言模型,专门针对软件工程数据进行训练。这一广泛的训练涵盖了代码仓库、开发者论坛和各种技术资源,增强了其在包括 Python、Java、JavaScript、Go、Ruby 和 C++ 在内的 18 种编程语言中的能力。初步基准测试表明,它的代码完成质量与两倍于其体积的模型相当或更优。
竞争格局
生成式人工智能代码生成市场正在快速发展,众多知名参与者相继进入。除了 Meta 的 CodeLLaMA 7B,StarCoder LLM 也是一个主要竞争者,该模型由 IBM、HuggingFace 和 ServiceNow 合作开发,量级同样为 30 亿参数。Stability AI 声称 Stable Code 3B 在 Python、C++、JavaScript、Java、PHP 和 Rust 等语言上表现优于 StarCoder。
订阅访问
Stable Code 3B 可通过 Stability AI 新推出的会员订阅服务进行商业使用,最初于去年 12 月发布。会员不仅可以访问 Stable Code 3B,还可以使用包括用于图像生成的 SDXL、用于文本内容的 StableLM Zephyr 3B、用于音频生成的 Stable Audio 和用于视频生成的 Stable Video 等一系列 AI 工具。