نموذج Nvidia لاما 3.1 مينيترون 4B: نموذج لغوي صغير قوي يتجاوز التوقعات

تتنافس شركات التقنية لتقديم الذكاء الاصطناعي على الأجهزة، حيث تتوسع الأبحاث حول النماذج اللغوية الصغيرة (SLMs) المُحسّنة للأجهزة محدودة الموارد بسرعة.

أحدثت Nvidia اختراقاً جديداً من خلال تقديم نموذج Llama-3.1-Minitron 4B، وهو نسخة مضغوطة من نموذج Llama 3، تستخدم تقنيات متقدمة مثل الاقتطاع والتقطير. يُنافس هذا النموذج الجديد النماذج الأكبر، ويوفر أيضاً عملية تدريب ونشر أكثر كفاءة.

فهم الاقتطاع والتقطير

يعد الاقتطاع والتقطير من التقنيات الأساسية لتطوير نماذج لغوية أصغر وأكثر كفاءة. يقوم الاقتطاع بإزالة المكونات الأقل أهمية: حيث يُزيل "اقتطاع العمق" الطبقات الكاملة، بينما يقوم "اقتطاع العرض" بالتخلص من عناصر معينة مثل الخلايا العصبية ورؤوس الانتباه.

يتمثل التقطير في نقل المعرفة من نموذج "المعلم" الأكبر إلى "نموذج الطالب" الأبسط. وهناك نهجان رئيسيان:

1. تدريب SGD: يتعلم نموذج الطالب من المدخلات واستجابات المعلم.

2. تقطير المعرفة التقليدي: في هذه الطريقة، يتعلم الطالب ليس فقط من المخرجات النهائية بل أيضاً من التفعيلات الوسيطة لنموذج المعلم.

أظهرت دراسة سابقة من Nvidia دمج الاقتطاع مع تقطير المعرفة التقليدي، مما جعل نموذج Nemotron 15B ينخفض إلى نموذج بـ 8 مليار معلمة. وقاد التقطير اللاحق من النموذج الأصلي إلى النسخة المُقتطعة إلى نموذج أصغر بـ 4 مليار معلمة، مما أسفر عن تحسين بنسبة 16% في الأداء وفقاً لمقياس MMLU، مع استخدام 40 مرة أقل من رموز التدريب مقارنة ببدء العمل من الصفر.

تطوير Llama 3.1-Minitron

استناداً إلى تقنياتهم السابقة، استخدمت Nvidia نفس الأساليب على نموذج Llama 3.1 8B لإنشاء نسخة 4 مليار معلمة قادرة على التنافس مع النماذج الأكبر. بدأت العملية بضبط النموذج غير المُقتطع 8B على مجموعة بيانات ضخمة تصل إلى 94 مليار رمز لمعالجة التحولات التي تعيق توجيهه أثناء التقطير.

بعد ذلك، تم استخدام نوعين من الاقتطاع: اقتطاع العُمق فقط، والذي قلّل من طبقات النموذج بنسبة 50%، واقتطاع العرض فقط، الذي أزال 50% من الخلايا العصبية في بعض الطبقات الكثيفة. أنتجت هذه التعديلات نسختين مميزتين من نموذج Llama-3.1-Minitron 4B.

خضعت النماذج المُقتطعة لضبط إضافي باستخدام NeMo-Aligner، وهي مجموعة أدوات مزودة بمختلف خوارزميات المحاذاة، بما في ذلك التعلم المعزز من التغذية الراجعة البشرية (RLHF) وتقنية SteerLM الخاصة بـ Nvidia.

نتائج الأداء

قامت Nvidia بتقييم نماذج Llama-3.1-Minitron 4B في مهام تتعلق بمتابعة التعليمات، ولعب الأدوار، والتوليد المعزز بالاسترجاع، واستدعاء الوظائف. على الرغم من مجموعة بيانات التدريب الأصغر، أظهرت Llama-3.1-Minitron 4B أداءً مقارنًا مع نماذج SLM الأخرى مثل Phi-2 2.7B وGemma2 2.6B، بينما كانت أكبر بشكل ملحوظ. وهذا يبرز التوازن الجذّاب بين تكاليف التدريب وكفاءة الاستنتاج.

النسخة المُقطعة من العرض من النموذج متاحة الآن على Hugging Face بموجب ترخيص النموذج المفتوح من Nvidia، مما يُعزز إمكانية الوصول الأوسع والاستخدام التجاري للمطورين.

تشدد Nvidia على أن "الاقتطاع وتقطير المعرفة التقليدي هو وسيلة فعّالة من حيث التكلفة لإنشاء نماذج لغوية ضخمة صغيرة وعالية الدقة مقارنة بالطرق التقليدية." تؤكد هذه الجهود على الدور الحيوي لمجتمع المصادر المفتوحة في تقدم الذكاء الاصطناعي، مما يُظهر كيف يمكن لاستراتيجيات الاقتطاع والتقطير تحسين نماذج LLM مع تقليل التكاليف. كما تبرز الجهود الابتكارية الأخرى، مثل خوارزمية دمج النماذج التطورية من Sakana AI، إمكانات حلول التدريب منخفضة التكلفة في مجال الذكاء الاصطناعي.