华为首款AI综合训练工具链正式发布:ModelEngine 怎么革新人工智能训练

2024年8月16日,全球开源技术大会(GOTC2024)在上海召开,由开源中国和上海浦东软件园主办。华为数据存储软件首席专家张群辉分享了ModelEngine在垂直大型模型领域的实际应用。

张群辉将ModelEngine描述为华为在数据中心堆栈(DCS)内的一整套AI训练和推理工具链。这一先进的工具链是业内首个采用AI流编程框架的解决方案,提供了数据处理、知识生成、模型微调、部署以及增强生成(RAG)应用开发的全流程支持,为数据工程师、模型工程师和应用开发者带来了无缝的AI开发体验。

他强调,基于ModelEngine的开源工具链通过开放数据操作符、主流模型和应用操作符,实现了数据处理、模型利用和应用支持。这一平台将语料库生成时间从几个月缩短至几天。此外,它为开发者提供了一站式的AI应用开发、评估、优化和部署解决方案,促进了AI应用的快速构建,并确保与现有AI资产(如LangChain和LlamaIndex插件)的兼容性。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles