شهد تدريب نماذج الذكاء الاصطناعي تسارعًا كبيرًا في عام 2023، وفقًا لأحدث مؤشرات MLPerf Training 3.1. إن وتيرة الابتكار في قطاع الذكاء الاصطناعي التوليدي مذهلة، حيث يعد التدريب السريع على النماذج عاملًا حاسمًا في هذا التقدم. يعقب مؤشر MLCommons MLPerf هذه الكفاءة في التدريب. MLCommons هو اتحاد هندسي مفتوح يهدف إلى تحسين معايير وبيانات التدريب في التعلم الآلي (ML) وأفضل الممارسات لتعزيز تطوير الذكاء الاصطناعي.
شملت مؤشرات MLPerf Training 3.1 تقديمات من 19 بائعًا وحققت أكثر من 200 نتيجة في الأداء. تميزت هذه الجولة بمعايير تدريب نماذج اللغة الكبيرة (LLM)، بما في ذلك GPT-3، وأدخلت معيارًا جديدًا لنموذج تحويل النص إلى صورة مفتوح المصدر Stable Diffusion.
قال ديفيد كانتر، المدير التنفيذي لـ MLCommons، خلال مؤتمر صحفي حديث: "مع أكثر من 200 نتيجة في الأداء، نرى تحسنًا كبيرًا يتراوح بين 50% وما يقرب من 3 أضعاف".
تجاوز تدريب LLM حدود قانون مور
تعتبر المكاسب الكبيرة في أداء تدريب LLM من أبرز جوانب مؤشرات MLPerf Training 3.1. منذ يونيو، عندما تم تضمين بيانات تدريب LLM لأول مرة، تظهر مؤشرات MLPerf 3.1 زيادة في الأداء تبلغ نحو 3 أضعاف في تدريب LLM.
وأشار كانتر: "عند مقارنة أسرع معيار تدريب LLM من الجولة الأولى في يونيو مع الأحدث، تحققنا من أداء أسرع بمعدل يقارب 2.8 مرة". وأضاف: "بينما لا أستطيع توقع الجولات المستقبلية، فإن هذا التحسن مثير للإعجاب ويعكس قدرات مذهلة".
يعتقد كانتر أن هذه المكاسب الأخيرة في أداء تدريب الذكاء الاصطناعي تتجاوز ما قد يتوقعه قانون مور، الذي يتنبأ بتضاعف أداء الحسابات كل بضع سنوات. وأكد أن قطاع الذكاء الاصطناعي يزيد من نطاق هندسة الأجهزة والبرمجيات بوتيرة تتجاوز هذه التوقعات.
وأضاف كانتر: "يعتبر MLPerf مقياسًا لتقدم الصناعة".
تقدمات ملحوظة من الشركات الرائدة
حققت إنتل، وإنفيديا، وجوجل تقدمات ملحوظة في نتائج تدريب LLM ضمن مؤشرات MLPerf Training 3.1.
أفادت إنتل أن معجل Habana Gaudi 2 الخاص بها حقق زيادة بنسبة 103% في سرعة التدريب مقارنةً بنتائج يونيو، باستخدام تقنيات مثل أنواع البيانات النقطة العائمة 8 بت (FP8). وقال إيتاي هوبارا، الباحث الكبير في إنتل: "قمنا بتمكين FP8 بنفس حزمة البرمجيات، مما يحسن نتائجنا على الأجهزة الموجودة".
كما أظهرت جوجل تقدمًا في أداء تدريب Cloud TPU v5e، الذي أُطلق في 29 أغسطس، مستفيدًا أيضًا من FP8 لأداء محسّن. وناقش فايبهاف سنغ، مدير منتج مسرعات السحاب في جوجل، قدرات التوسع التي تم تحقيقها من خلال تقنية "Cloud TPU multislice".
وأشار سنغ: "تتوسع Cloud TPU multislice بفعالية عبر شبكة مركز البيانات"، موضحًا: "مع هذه التقنية، حققنا أداءً استثنائيًا للتوسع يصل إلى 1,024 وحدة باستخدام 4,096 شريحة TPU v5e".
تسير إنفيديا على خطى تطوير كفاءة التدريب في LLM باستخدام حاسوبها الفائق EOS، الذي بدأ الحديث عنه في عام 2022. وأظهرت النتائج زيادة بمعدل 2.8 مرة في سرعة التدريب لنماذج GPT-3 مقارنةً بمعايير يونيو. ولفت ديف سالفاتور، مدير منتجات الحوسبة المتسارعة في إنفيديا، إلى أن EOS مزود بـ 10,752 وحدة معالجة رسومية متصلة عبر تقنية Nvidia Quantum-2 InfiniBand، بسرعة 400 جيجابت في الثانية، و860 تيرابايت من ذاكرة HBM3.
وختم سالفاتور قائلاً: "المقاييس السرعية التي نراها استثنائية".
بشكل عام، توضح مؤشرات MLPerf Training 3.1 التقدم السريع في تدريب الذكاء الاصطناعي، مما يبرز لحظة محورية في تطور الذكاء الاصطناعي.
قائمة الترتيب
