Stability AI推出新模型：StableLM Zephyr 3B震撼来袭

Home AI News CN Stability AI推出新模型：StableLM Zephyr 3B震撼来袭

Updated on 十二月 7 2023

Stability AI因其创新的文本生成图像AI模型而备受瞩目，现正扩展其产品线。今天，Stability AI推出了最新进展：StableLM Zephyr 3B。该模型是一款拥有30亿参数的大型语言模型（LLM），旨在满足各种聊天应用的需求，包括文本生成、摘要处理与内容个性化。StableLM Zephyr 3B 是对今年早些时候推出的首个StableLM文本生成模型的优化和缩小版本。

StableLM Zephyr 3B的一个关键优势是其体积较小。与70亿参数版本的StableLM相比，其资源占用更低，适用范围更广，使得快速响应成为可能。该模型专门优化用于问答和指导任务。

Stability AI的首席执行官Emad Mostaque表示：“StableLM在高质量数据上进行了更长时间的训练，使用的令牌数量是LLaMA v2 7b的两倍，尽管相比之下，它的规模只有40%。”

StableLM Zephyr 3B并非全新模型，而是现有StableLM 3B-4e1t模型的扩展。其设计受到开源MIT许可证下的HuggingFace的Zephyr 7B模型的启发，旨在作为智能助手使用。Zephyr采用了一种称为直接偏好优化（DPO）的训练方法，这种方法也用于StableLM。

Mostaque进一步解释，DPO是对早期模型中使用的强化学习技术的替代方案，旨在更好地与人类偏好对齐。虽然DPO通常应用于更大的模型，但StableLM Zephyr 3B是该方法有效应用于30亿参数模型的首次实例之一。

Stability AI在DPO的支持下，结合了来自OpenBMB研究组的UltraFeedback数据集，其中涵盖了超过64,000个提示和256,000个响应。DPO、模型大小与优化训练数据集的组合，使得StableLM Zephyr 3B在性能指标上表现出色。在MT Bench评估中，它超越了包括Meta的Llama-2-70b-chat和Anthropic的Claude-V1等较大模型。

Stability AI正在不断扩展其模型组合，以提升其生成能力。今年8月，公司推出了用于应用代码开发的StableCode，随后在9月推出了用于文本转音频生成的Stable Audio。11月，还推出了Stable Video 扩散（Stable Video Diffusion）的预览，标志着Stability AI进军视频生成领域。

尽管不断扩展，Stability AI依然承诺坚持其在文本生成图像领域的根基。近期，公司推出了SDXL Turbo，这是其旗舰SDXL文本生成图像Stable Diffusion模型的更快版本。

Mostaque强调，Stability AI还有更多创新即将到来。他表示：“我们相信，小型、开放且性能优越的模型将优于大型通用模型，并期待通过即将全面发布的新StableLM模型，进一步实现生成语言模型的民主化。”

Mine获得3000万美元投资，推出AI驱动的企业隐私解决方案

思科全面拥抱人工智能，以提升网络安全战略