إنفيديا تكشف عن Mistral-NeMo-Minitron 8B: نموذج ذكاء اصطناعي لغوي مدمج
في 21 أغسطس، أعلنت إنفيديا عن إصدار Mistral-NeMo-Minitron 8B، وهو نموذج ذكاء اصطناعي لغوي مدمج مصمم لتحقيق دقة استثنائية وكفاءة حسابية. تم تحسين هذا النموذج ليكون مناسباً للنشر في مراكز البيانات المدعومة بوحدات معالجة الرسوميات (GPU)، وبيئات الحوسبة السحابية، ومحطات العمل.
بعد التعاون الشهر الماضي مع Mistral AI لإطلاق نموذج Mistral NeMo 12B مفتوح المصدر، يتميز Mistral-NeMo-Minitron 8B بوجود 8 مليارات معلمة، وهو مصمم خصيصاً للأنظمة المزودة ببطاقات رسومية من إنفيديا RTX. شملت تحسينات إنفيديا على نموذج Mistral NeMo 12B تقنيات تقليم العرض وتقطير المعرفة، مع توضيح النتائج في الورقة العلمية المعنونة "نماذج لغوية مدمجة عبر التقليم وتقطير المعرفة".
تشمل عملية التقليم حذف الأوزان في النموذج التي تسهم بشكل ضئيل في الدقة، مما يؤدي إلى تحسين حجم الشبكة العصبية. خلال مرحلة التقطير، أعيد تدريب النموذج المقلم باستخدام مجموعة بيانات أصغر، مما ساعد على تقليل التراجع في الدقة الناتج عن عملية التقليم.
فيما يتعلق بالأداء، يظهر Mistral-NeMo-Minitron 8B مزايا ملحوظة عبر تسعة معايير شهيرة لنماذج اللغة، ويبرز قدراته في فهم اللغة، التفكير المنطقي، التفكير الرياضي، التلخيص، وتوليد إجابات دقيقة.