تأثير الحجم على نماذج اللغة الكبيرة (LLMs)
يعتبر الحجم عاملاً حاسماً لنماذج اللغة الكبيرة (LLMs)، حيث يحدد قدرة النموذج على الأداء بفاعلية. وقد أطلقت شركة Stability AI، المعروفة بتقنية الذكاء الاصطناعي لتوليد الصور من النصوص عبر التشتت المستقر، واحداً من أصغر نماذجها: Stable LM 2 1.6B. ظهر نموذج توليد المحتوى النصي هذا لأول مرة في أبريل 2023 مع نسخ تحتوي على 3 مليارات و 7 مليارات معلمة. يعتبر نموذج 1.6B هو الإصدار الثاني للشركة في عام 2024، بعد إطلاق Stability AI لنموذج Stable Code 3B.
مقدمة عن نموذج Stable LM 2 المدمج
تم تصميم نموذج Stable LM 2 1.6B الجديد لتقليل الحواجز أمام المطورين وتسريع المشاركة في نظام الذكاء الاصطناعي التوليدي. هذا النموذج المدمج والقوي يدعم توليد النصوص بأربع لغات: الإنجليزية، الإسبانية، الألمانية، الإيطالية، الفرنسية، البرتغالية، والهولندية. يستفيد النموذج من أحدث التطورات في نمذجة اللغة الخوارزمية لتحقيق توازن مثالي بين السرعة والأداء.
ذكر كارلوس ريكيلمي، رئيس فريق اللغة في Stability AI، أن "النماذج الأكبر حجماً التي تم تدريبها على بيانات مشابهة تؤدي بشكل عام أفضل من الأصغر حجماً. لكن مع تحسين الخوارزميات وتدريب النماذج على بيانات ذات جودة، نرى غالباً أن النماذج الأصغر تتفوق على نظرائها الأكبر سناً".
لماذا يمكن للنماذج الأصغر أن تتفوق على الأكبر حجماً
وفقًا لشركة Stability AI، فإن Stable LM 2 1.6B يتفوق على العديد من نماذج اللغة الصغيرة التي تحتوي على أقل من 2 مليار معلمة عبر مختلف المقاييس، بما في ذلك نموذج Phi-2 من Microsoft (2.7B) وTinyLlama (1.1B) وFalcon (1B). ومن المثير للاهتمام أنه يتجاوز أيضاً النسخ الأكبر مثل نموذج Stable LM 3B الذي أطلقته Stability AI في وقت سابق.
أوضح ريكيلمي: "يؤدي Stable LM 2 1.6B بشكل أفضل من بعض النماذج الأكبر التي تم تدريبها قبل أشهر قليلة. تمامًا كما في تكنولوجيا الحوسبة، نرى النماذج تتقلص وتصبح أفضل بمرور الوقت".
الاعتراف بالقيود
على الرغم من القدرات المثيرة للإعجاب لنموذج Stable LM 2 1.6B الأصغر، إلا أن حجمه يأتي مع بعض القيود. تحذر Stability AI من أن "الطبيعة الجوهرية لنماذج اللغة الصغيرة ذات السعة المنخفضة قد تظهر مشكلات شائعة مثل ارتفاع معدلات الاعتلال اللغوي أو اللغة السامة المحتملة".
الشفافية وتعزيز تدريب البيانات
لعدة أشهر، كانت Stability AI تركز على خيارات نماذج اللغة الكبيرة الأصغر والأكثر قوة. في ديسمبر 2023، أصدرت نموذج StableLM Zephyr 3B، مما يحسن الأداء ضمن إطار عمل أصغر من الإصدار الأول.
أوضح ريكيلمي أن نماذج Stable LM 2 الجديدة تستخدم بيانات أكثر، مع إدماج وثائق متعددة اللغات بست لغات بجانب الإنجليزية. وأكد على أهمية ترتيب بيانات التدريب، مشيراً إلى أن تنوع أنواع البيانات عبر مراحل التدريب المختلفة يمكن أن يحسن النتائج.
لتسهيل التطوير، ستصدر Stability AI هذه النماذج بشكلها المدرب مسبقاً والمعدل بشكل دقيق، بالإضافة إلى ما يصفه الباحثون بأنه "نموذج آخر نقطة تدريب قبل فترة التهدئة".
قال ريكيلمي: "هدفنا هو تزويد المطورين بالأدوات للابتكار والبناء على نماذجنا الحالية. نحن نقدم نموذجاً محدداً غير كامل للتجريب".
أضاف أن عملية التدريب تحسن أداء النموذج مع تحديثه بشكل متتابع. النموذج الأولي ينقصه المعرفة، بينما تقوم النسخ اللاحقة بتجميع رؤى من البيانات. ومع ذلك، أشار ريكيلمي إلى أن النماذج قد تصبح أقل مرونة نحو نهاية التدريب.
"قررنا تقديم النموذج في شكله شبه النهائي لتسهيل تخصيصه لمهام أو مجموعات بيانات مختلفة. على الرغم من أننا لا يمكننا ضمان النجاح، إلا أننا نؤمن بإبداع الناس في استخدام الأدوات الجديدة بطرق مبتكرة".
قائمة الترتيب
