在8月16日,全球開源技術大會(GOTC2024)在上海舉行,由開源中國和上海浦東軟件園組織。華為數據存儲軟件首席專家張群輝分享了ModelEngine在垂直大型模型領域的實際應用見解。
張群輝將ModelEngine描述為華為在其數據中心堆疊(DCS)中的全面AI訓練和推理工具鏈。這一尖端工具鏈是業界首個使用AI流式編程框架的解決方案,提供從數據處理、知識生成、模型微調到部署和檢索增強生成(RAG)應用開發的端到端解決方案,為數據工程師、模型工程師和應用開發者提供無縫的AI開發體驗。
他強調,基於ModelEngine的開源工具鏈支持開放數據運算子、主流模型和應用運算子,實現數據處理、模型利用和應用支持。該平台將語料庫生成時間從數月縮短至幾天。此外,它為開發者提供一站式AI應用開發、評估、優化和部署解決方案,加速AI應用的快速構建,同時確保與現有的AI資產(如LangChain和LlamaIndex插件)的兼容性。