Am 16. Mai kündigte Xiaomi offiziell über sein Weibo-Konto an, dass sein großes Sprachmodell MiLM den备案 (Registrierungs-)Prozess abgeschlossen hat. Dieses Modell wird schrittweise in verschiedene Xiaomi-Produkte integriert, darunter Autos, Smartphones und Smart-Home-Geräte, und wird zukünftig für mehr Nutzer zugänglich gemacht.
Das MiLM-Modell erregte erstmals im vergangenen August während der großen Modellbewertungen C-Eval und CMMLU Aufsehen, wo es den 10. Platz insgesamt in C-Eval belegte und die Spitzenposition unter Modellen mit ähnlichen Parametern erreichte. Laut seiner GitHub-Projektseite ist MiLM-6B ein groß angelegtes, vortrainiertes Sprachmodell von Xiaomi mit 6,4 Milliarden Parametern.
Die Daten von C-Eval zeigen, dass MiLM-6B eine hohe Genauigkeit in 20 Fächern der MINT-Disziplinen (Mathematik, Informatik, Naturwissenschaften und Technik) aufweist, einschließlich Physik, Chemie und Biologie. Auch in geisteswissenschaftlichen Fächern erzielt das Modell gute Ergebnisse, benötigt jedoch Verbesserungen in Disziplinen, die "abstraktes Denken" erfordern, wie Recht, Mathematik, Programmierung und Wahrscheinlichkeitstheorie.
In den Bewertungen der Sozialwissenschaften erreichte MiLM-6B in 8 von 10 Fächern eine zufriedenstellende Genauigkeit, mit Ausnahme von "Bildung und Geografie". Zusätzlich zeigte das Modell bei den Bewertungen in den Geisteswissenschaften lobenswerte Ergebnisse in den Bereichen "Geschichte und Recht".