苹果发布开源人工智能模型,支持设备端执行

苹果公司今天发布了一系列开源的大型语言模型(LLMs),这系列模型旨在在设备上运行,而不是依赖于云服务器。这个名为 OpenELM(开放高效语言模型)的项目现已在 Hugging Face Hub 上上线,为AI代码共享创造了一个社区平台。

OpenELM 包括八个模型,其中四个使用 CoreNet 库进行预训练,另外四个通过指导性调整进行微调。苹果采用了分层扩展策略,在每个 Transformer 模型层中有效分配参数,从而提升了模型的准确性和效率。例如,在约十亿的参数预算下,OpenELM 比 OLMo 提高了 2.36% 的准确性,同时将预训练令牌的需求减少了近一半。

与过去仅提供模型权重和推理代码的发布不同,这次发布提供了用于训练和评估语言模型的全面框架,涵盖了公共数据集、训练日志、多次检查点和预训练配置。苹果希望通过这一举措加速自然语言AI领域的进步,并提供“更可靠的结果”。

这些开放模型的发布旨在“赋能和丰富开放研究社区”,使研究人员能够深入研究模型的风险、数据使用和偏见。开发者和公司也被鼓励直接利用或修改这些模型,以满足其特定需求。

通过开放共享这些信息,苹果旨在吸引优秀的工程师、科学家和专家,以推动相关领域的研究,尽管在苹果保密政策下发布信息存在挑战。尽管这些AI功能尚未整合到苹果设备中,但预计 iOS 18 将推出一系列新的AI功能,并有迹象表明,苹果计划将其大型语言模型迁移到设备端运行,以提高隐私保护。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles