مايكروسوفت وبايهانغ تكشفان عن MoRA: تقنية متطورة لتحسين نماذج اللغة الكبيرة بكفاءة

طور باحثون من Microsoft وجامعة Beijing University تقنية فعّالة من حيث التكلفة لتعديل نماذج اللغة الكبيرة (LLMs)، مما يقلل بشكل كبير من النفقات المعتادة. تُعرف هذه الطريقة باسم MoRA، وهي أسلوب جديد لتحسين المعلمات بكفاءة (PEFT) يعالج القيود المرتبطة عادةً بالتقنيات الموجودة مثل التكيف منخفض الرتبة (LoRA). تُعتبر MoRA مفيدة بشكل خاص لتعديل النماذج في المهام التي تتطلب استيعاب المعرفة الجديدة. مع زيادة استخدام استراتيجيات PEFT في المؤسسات، تمثل MoRA أداة قيمة لمطوري تطبيقات LLM.

فهم PEFT وLoRA

يتطلب التعديل التقليدي ضبط جميع معلمات LLM، مما قد يكون مكلفًا ويستغرق وقتًا نظرًا لاحتواء هذه النماذج على مليارات المعلمات. ومع ذلك، تعمل تقنيات PEFT على تحسين هذه العملية من خلال تحديد أقل مجموعة من المعلمات اللازمة لتعديلات محددة للمهام. أصبحت LoRA أسلوب PEFT شائعًا بفضل قدرتها على تحديث المعلمات باستخدام مصفوفات منخفضة الرتبة، مما يقلل من المتطلبات الذاكرية ويسهل تخزين ونشر النماذج المعدلة. ومع ذلك، تعاني LoRA من نقص الأداء في المهام الأكثر تعقيدًا مثل التفكير الرياضي وإعادة التدريب المستمرة، حيث يحد نهجها منخفض الرتبة من قدرة النموذج على اكتساب واستيعاب معلومات جديدة.

وفقًا للباحثين، "تُقيّد هذه الحالة القدرة على تخزين معلومات جديدة من خلال التعديل."

تقديم MoRA

تعمل MoRA على تحسين LoRA من خلال الاعتماد على مصفوفة مربعة واحدة بدلاً من مصفوفات منخفضة الرتبة، مما يسهل عملية التعديل بشكل أكثر كفاءة. تعتمد الفكرة الرئيسية وراء MoRA على استغلال المعلمات القابلة للتدريب لتحقيق أعلى رتبة ممكنة متوافقة مع أبعاد النموذج الأصلي. على عكس LoRA، لا تتماشى أبعاد الإدخال والإخراج في MoRA مع أبعاد النموذج الأصلي، مما يمنع عملية الضرب المباشر للمصفوفات. لحل هذه المشكلة، ابتكر الباحثون دالة ضغط/فك ضغط تسهل تحويل الإدخال بين المساحتين، مما يسمح بدمج MoRA بسلاسة في LLMs بمختلف الأحجام. تعزز مصفوفة الوزن المربعة من قدرة MoRA على التعلم وتذكر المعرفة الجديدة مقارنةً بنموذج LoRA ذو الحجم المكافئ.

أداء MoRA

في الدراسات المقارنة، تفوقت MoRA باستمرار على LoRA في مهام التذكر، مقتربًة من أداء النماذج المعدلة بالكامل مع استخدام عدد أقل من المعلمات وخطوات التدريب. لاحظ الباحثون أن منحنى خسارة MoRA يتماشى بشكل وثيق مع التعديل الكامل لمهام تذكر المعرفة، مما يُظهر كفاءتها. وقد صرحوا: "تظهر طريقتنا تحسينات ملحوظة على LoRA بنفس عدد المعلمات القابلة للتدريب، مستفيدة من التحديث عالي الرتبة."

في المهام التي تتضمن تعديل التعليم والتفكير الرياضي، كانت أداء MoRA قريبة من LoRA. ومع ذلك، في سيناريوهات إعادة التدريب المستمرة في المجالات الطبية والمالية، تفوقت MoRA بفضل قدرتها على التحديث عالي الرتبة، مما يسهل تذكر المعلومات الجديدة. كما أشار الباحثون إلى أن زيادة رتبة محول MoRA يمكن أن تقلل الفجوة في الأداء بين PEFT والتعديل الكامل في مهام التفكير الرياضي، رغم أن ذلك يتطلب مزيد من متطلبات التدريب والتخزين.

دور PEFT في المؤسسات

يُعتبر التعديل أمرًا حيويًا لتطبيقات LLM في المؤسسات. فهو يُعزّز قدرات ودقة LLM، مما يسمح للمنظمات باستخدام نماذج أصغر للمهام التي قد تتطلب نماذج متقدمة باهظة الثمن. حاليًا، تُعتبر LoRA ونسخها المتنوعة بمثابة المعايير للتعديل الفعّال للمعلمات، مدعومة بمحرك قوي من الأدوات والمنصات لإنشاء محولات LoRA. على سبيل المثال، يتيح S-LoRA للمطورين تشغيل عدة محولات LoRA على معالج GPU واحد، مما يسهل التطبيقات التي تتطلب العديد من LLMs المعدلة خصيصًا لمحتوى المستخدم الفردي.

جعل الباحثون MoRA متاحًا كتطبيق مفتوح المصدر متوافق مع LoRA، مما يضعها كموارد هامة للمؤسسات التي تهدف إلى إثراء النماذج الأساسية بمعرفة جديدة.