5月16日、シャオミはWeiboアカウントを通じて、自社の大規模言語モデル「MiLM」が正式に登録を完了したことを発表しました。このモデルは、将来的に自動車やスマートフォン、スマートホームデバイスなど、さまざまなシャオミ製品に順次統合され、より多くのユーザーが体験できるようになる予定です。
MiLMモデルは、昨年8月に行われたC-EvalおよびCMMLUの大型モデル評価で注目を集め、C-Evalでは総合10位を獲得し、同様のパラメータを持つモデルの中でトップの座を確保しました。GitHubのプロジェクトページによれば、MiLM-6Bはシャオミによって開発された大規模な事前学習済み言語モデルで、パラメータ数は64億に達します。
C-Evalのデータによると、MiLM-6Bは科学、技術、工学、及び数学(STEM)の20分野で高い正確性を示しています。具体的には、物理学、化学、生物学などの分野で優れた性能を発揮しています。一方、人文学分野でも良好な結果を残していますが、法律、数学、プログラミング、確率論などの「抽象思考」を要する分野では改善の余地があります。
社会科学の評価では、MiLM-6Bは10の科目中8科目で満足のいく正確性を達成しましたが、「教育」と「地理」は除外されています。また、人文学においても「歴史」と「法」に関する評価では良好な結果が見られました。