مايكروسوفت تكشف عن أوركا 2: نماذج لغوية مدمجة تتفوق على منافسيها الأكبر.

بينما تشهد شركة OpenAI صراعات داخلية واستقالات جماعية، تواصل Microsoft تقدمها في مجال الذكاء الاصطناعي. كشفت الشركة اليوم عن أوركا 2، وهي مجموعة من نماذج اللغة الصغيرة التي تتفوق أو تنافس نماذج أكبر بعشرة أضعاف مثل نموذج لاما-2 شات-70B في مهام التفكير المعقد تحت ظروف عدم وجود بيانات تدريب.

تأتي نماذج أوركا 2 بحجمين: 7 مليار و13 مليار معلمة. وتبني تلك النماذج على نموذج أوركا 13B السابق الذي أظهر قدرات تفكير مثيرة للإعجاب عبر تقليد خطوات التفكير للنماذج الأكبر والأكثر تطورًا التي تم تطويرها قبل أشهر.

قال باحثو Microsoft في مدونة: "مع أوركا 2، نثبت أن إشارات وأساليب التدريب المحسنة تمكّن نماذج اللغة الصغيرة من تحقيق قدرات تفكير تُخصص عادة للنماذج الأكبر."

تم فتح المصدر لكل من النموذجين لمزيد من البحث، مما يتيح تقييم النماذج الأصغر التي يمكن أن تقدم أداءً مشابهًا لنظيراتها الأكبر. هذه المبادرة توفر للمنشآت، خاصة تلك ذات الموارد المحدودة، خيارًا أكثر سهولة لتلبية احتياجاتها المحددة دون الحاجة إلى طاقة حوسبة كبيرة.

تعليم النماذج الصغيرة التفكير

بينما عُرفت النماذج الكبيرة مثل GPT-4 بقدراتها المذهلة في التفكير والإجابة على الأسئلة المعقدة، إلا أن النماذج الصغيرة كانت تاريخيًا أقل كفاءة. لسد هذه الفجوة، قامت Microsoft Research بتحسين نماذج لاما 2 الأساسية باستخدام مجموعة بيانات اصطناعية متخصصة.

بدلاً من مجرد تقليد سلوك النماذج الأكبر، استخدم الباحثون نهجًا مختلفًا. قاموا بتدريب النماذج الأصغر على استخدام استراتيجيات حل المشكلات المتنوعة المخصصة لمهام مختلفة. على سبيل المثال، بينما يمكن لـ GPT-4 الإجابة على استفسارات معقدة بشكل مباشر، قد تستفيد نماذج أصغر من تقسيم المهمة إلى خطوات قابلة للإدارة.

كتب الباحثون في دراستهم الأخيرة: "في أوركا 2، نعلم النموذج عدة تقنيات تفكير ونركز على مساعدته في تحديد الاستراتيجية الأكثر فعالية لكل مهمة." وكانت بيانات التدريب مشتقة من نموذج معلم أكثر كفاءة، مما يمكّن النموذج الطالب من تعلم متى وكيفية تطبيق أساليب تفكير مختلفة.

أداء أوركا 2 يتفوق على النماذج الأكبر

عند تقييمها عبر 15 معيارًا متنوعًا ضمن إعدادات عدم وجود بيانات تدريب، قدمت نماذج أوركا 2 نتائج مذهلة، حيث غالبًا ما تطابقت أو تجاوزت مستويات الأداء لنماذج أكبر بخمسة إلى عشرة أضعاف.

أظهرت النتائج المتوسطة أن كلا النموذجين في أوركا 2 تفوقا على لاما-2-شات-13B، لاما-2-شات-70B، وزيزاردLM-13B، وزيزاردLM-70B، باستثناء معيار GSM8K، حيث تجاوز زيزاردLM-70B أوركا.

الاعتبارات لتنفيذ النماذج في الشركات

في حين أن هذه الإنجازات الكبيرة تقدم وعودًا للفرق الخاصة بالمشروعات التي تسعى للحصول على نماذج عالية الأداء بتكلفة فعالة، من الضروري الاعتراف بأن نماذج أوركا 2 قد تعاني من بعض القيود المشتركة مع جميع نماذج اللغة.

أكدت Microsoft أن التقنيات التي تم تطبيقها لإنشاء نماذج أوركا يمكن أيضًا تكييفها على نماذج أخرى موجودة. "رغم أن أوركا 2 تحمل العديد من القيود، فإن إمكانياتها في تحسين التفكير والتخصص والرقابة والسلامة في النماذج الصغيرة واضحة."

مستقبل نماذج اللغة الصغيرة

مع توفر نماذج أوركا 2 مفتوحة المصدر واستمرار البحث في هذا المجال، يتضح أن المزيد من نماذج اللغة الصغيرة عالية الأداء في الأفق.

مؤخراً، أطلقت 01.AI، شركة ناشئة صينية أسسها خبير الذكاء الاصطناعي كاي-فو لي، نموذجًا بحجم 34 مليار معلمة يتفوق في كل من الصينية والإنجليزية، متجاوزًا حتى نموذج لاما 2 البالغ 70 مليار معلمة ونموذج فالكون البالغ 180 مليار معلمة. كما تقدم الشركة نسخة أصغر مدربة بحجم 6 مليار معلمة وتحقق أداءً جيدًا على المعايير المعتمدة في الذكاء الاصطناعي.

بالإضافة إلى ذلك، تقدمت شركة Mistral AI - وهي شركة ناشئة جديدة مقرها باريس، والتي لفتت الأنظار بشعارها الفريد وجولة تمويل قياسية بقيمة 118 مليون دولار - بتقديم نموذج بحجم 7 مليار معلمة يتفوق على منافسيه الأكبر، بما في ذلك لاما 2 13B.