أخبار مثيرة للطلاب وباحثي STEM!
إذا كنت قد واجهت صعوبات في مادة الرياضيات مثلما حدث لي أثناء نشأتي، أو إذا كنت متحمسًا لتعزيز مهاراتك، فلدينا أخبار رائعة من Microsoft. أعلن أريندام ميترا، الباحث الأول في Microsoft Research وقائد مبادرة Orca AI، مؤخرًا عن Orca-Math على منصة X. هذا النموذج المبتكر، وهو نسخة من نموذج Mistral 7B الخاص بشركة Mistral الفرنسية، مصمم خصيصًا لتفوق في حل المسائل الرياضية الكلامية. ومن الملاحظ أنه يحتفظ بحجم مضغوط، مما يجعله فعالًا في التدريب والنشر. هذه الخطوة تأتي كجزء من هدف فريق Orca في Microsoft لتعزيز قدرات نماذج اللغة الكبيرة على نطاق أصغر.
Orca-Math: الأداء meets الكفاءة
حقق Orca-Math نتائج مثيرة للإعجاب، حيث تفوق على نماذج تحتوي على عشرة أضعاف عدد المعاملات (الأوزان والتحيزات التي توجه اتصالات نموذج الذكاء الاصطناعي) في حل المسائل الرياضية المعقدة. شارك ميترا رسمًا بيانيًا يوضح تفوق Orca-Math على معظم نماذج الذكاء الاصطناعي من 7 إلى 70 مليار معلمة في معيار GSM8K—وهو مجموعة من 8,500 مسألة رياضية متنوعة مصممة لتكون قابلة للحل من قبل طلاب المدارس المتوسطة المتفوقين.
بشكل ملحوظ، ينافس Orca-Math، الذي يحتوي على 7 مليارات معلمة، نماذج أكبر مثل GPT-4 من OpenAI وGemini Ultra من Google، بينما يتفوق بشكل كبير على نماذج أكبر مثل MetaMath (70B) وLlemma (34B).
إنشاء Orca-Math: نهج تعاوني
كيف تمكن فريق Orca من تحقيق هذه الإنجاز؟ قاموا بتطوير مجموعة بيانات جديدة تحتوي على 200,000 مسألة رياضية من خلال تعاون بين وكلاء ذكاء اصطناعي متخصصين، بما في ذلك وكلاء الطلاب والمعلمين، الذين قاموا بتصحيح الإجابات الناتجة. تم بناء هذه المجموعة من 36,217 مسألة رياضية مأخوذة من مجموعات بيانات مفتوحة، مع توفير الإجابات عن طريق GPT-4 من OpenAI. أوصلت هذه العملية إلى تطوير Orca-Math باستخدام نموذج Mistral 7B.
بالإضافة إلى ذلك، طبق فريق Orca نظام "مقترح ومحرر" لإنتاج أسئلة أكثر تعقيدًا، مما يعزز مجموعة التدريب الخاصة بالذكاء الاصطناعي. وفقًا لأبحاثهم المنشورة على arXiv.org، تساهم عملية تحسين المسائل التكرارية بشكل كبير في تطوير أسئلة صعبة تعزز الدقة أثناء التعلم.
أثبتت البيانات الاصطناعية الناتجة بواسطة الآلة قيمتها في تعزيز قدرات نماذج اللغة الكبيرة، مما يعالج المخاوف بشأن ركود النموذج. استخدم فريق Orca طريقة "تحسين كاهنمان-تفيرسكي" (KTO)، التي تركز على تقييم رغبة المخرجات بدلاً من المعايير التفضيلية المعقدة. ساعدت هذه الطريقة، إلى جانب التحسين التقليدي تحت الإشراف، في تحسين أداء Orca-Math.
موارد مفتوحة المصدر: 200,000 مسألة رياضية للابتكار
تكرم فريق Orca بتقديم مجموعة بياناتهم المكونة من 200,000 مسألة رياضية تم إنشاؤها بواسطة الذكاء الاصطناعي على Hugging Face بموجب ترخيص MIT. يفتح هذا المجال أمام الشركات الناشئة والشركات لاستكشاف innovative، واستخدام المجموعة لأغراض تجارية.
منذ إصدار Orca 13B الأصلي في يونيو 2023، الذي استخدم GPT-4 كنموذج تعليمي، تلاه Orca 2 في نوفمبر 2023، يستمر تطور عائلة Orca في تقديم تكرارات أكثر ذكاءً وصرامة.
مع هذه التقدمات، تستعد Microsoft لتحويل مشهد التعليم الرياضي وأدوات التعلم المدعومة بالذكاء الاصطناعي.
قائمة الترتيب
