在5月16日,小米正式透過其微博帳號公告,其大型語言模型MiLM已完成备案過程。此模型將逐步整合至各種小米產品中,包括汽車、智慧型手機及智能家居設備,並將在未來提供更多用戶體驗。
MiLM模型首次受到關注是在去年的8月C-Eval與CMMLU大型模型評估中,其在C-Eval中總排名第十,並在相似參數模型中位居首位。根據其GitHub專案頁面,MiLM-6B是由小米開發的一個大規模預訓練語言模型,擁有64億個參數。
C-Eval數據顯示,MiLM-6B在STEM(科學、技術、工程和數學)20個科目中展現出高準確度,涵蓋物理、化學及生物等領域。該模型也在人文科目中表現良好,但在需要「抽象思維」的學科(如法律、數學、程式設計和概率論)上仍需改進。
在社會科學的評估中,MiLM-6B在10個科目中有8個達到滿意的準確度,僅在「教育與地理」中表現不佳。此外,在人文科目的評估中,該模型在「歷史與法律」領域也顯示出不錯的成績。