في خضم المنافسة المستمرة في مجال الذكاء الاصطناعي، حيث تتسابق الشركات التقنية العملاقة لتطوير نماذج لغوية كبيرة (LLMs) بشكل متزايد، تبرز اتجاه مهم: الصغيرة هي الكبيرة الجديدة. مع ظهور علامات على استقرار تقدم نماذج LLMs، بدأ الباحثون والمطورون بتحويل تركيزهم نحو نماذج لغوية صغيرة (SLMs). هذه النماذج المدمجة والفعالة والقابلة للتكيف تعيد تشكيل مشهد الذكاء الاصطناعي، وتتحدى فكرة أن الحجم هو العامل الحاسم دائماً.
هل بدأت LLMs في الاستقرار؟
تكشف المقارنات الحديثة للأداء من قبل Vellum وHuggingFace أن الفجوة بين نماذج LLMs تتناقص. يظهر هذا بوضوح في مهام مثل الأسئلة الاختيارية والتفكير والمشكلات الرياضية، حيث تظهر النماذج الرائدة فروق أداء ضئيلة. على سبيل المثال، في سيناريوهات الاختيار المتعدد، تحقق نماذج مثل Claude 3 Opus وGPT-4 وGemini Ultra درجات تزيد عن 83%. وفي مهام التفكير، تكون النتائج تنافسية بنفس القدر، حيث تتجاوز Claude 3 Opus وGPT-4 وGemini 1.5 Pro دقة 92%.
من المثير للاهتمام أن النماذج الأصغر مثل Mixtral 8x7B وLlama 2 – 70B تحقق نتائج واعدة في مجالات محددة، متفوقة على بعض النماذج الأكبر. وهذا يشير إلى أن عوامل مثل التصميم وبيانات التدريب وتقنيات التهيئة قد تلعب أدواراً حاسمة في الأداء، مما يتحدى الاعتقاد بأن الحجم هو العامل الرئيسي.
يشير غاري ماركوس، الرئيس السابق لـ Uber AI ومؤلف كتاب "إعادة تشغيل الذكاء الاصطناعي"، إلى أن الأبحاث الأخيرة تشير إلى تقارب في أداء النماذج. يقول ماركوس: "بينما قد تتفوق بعض النماذج الجديدة على GPT-4 قليلاً، لم يكن هناك تقدم كبير منذ أكثر من عام."
مع استمرار تقارب الأداء، تثار تساؤلات حول ما إذا كانت LLMs بالفعل في مرحلة الاستقرار. إذا استمرت هذه الاتجاهات، فقد يتجه تطوير الذكاء الاصطناعي في المستقبل من مجرد زيادة حجم النموذج إلى استكشاف هياكل أكثر كفاءة وتخصصاً.
عيوب نهج LLM
رغم قوتها، تعرض LLMs عيوباً كبيرة. يتطلب تدريب هذه النماذج مجموعات بيانات ضخمة وموارد حسابية هائلة، مما يجعل العملية مكلفة للغاية. على سبيل المثال، كشف سام التمان، الرئيس التنفيذي لشركة OpenAI، أن تكلفة تدريب GPT-4 تجاوزت 100 مليون دولار. تعقيد LLMs يفرض منحنى تعلم حاد على المطورين، مما يخلق حواجز أمام الوصول. قد تستغرق الشركات 90 يوماً أو أكثر لنشر نموذج تعلم آلي واحد، مما يبطئ الابتكار.
مشكلة أخرى هي ميل LLMs لتوليد "هلوسات"، حيث تنتج ناتجاً يبدو معقولاً ولكنه غير صحيح. تنشأ هذه المشكلة لأن LLMs تتنبأ بالكلمات بناءً على أنماط التدريب، مما يجعلها تفتقر إلى الفهم الحقيقي، مما يؤدي إلى الحصول على مخرجات خاطئة أو غير معقولة، وهو ما يشكل مخاطر في تطبيقات حيوية مثل الرعاية الصحية والقيادة الذاتية.
تعقيد حجم ونموذج LLMs يجعل تفسيرها وتصحيح الأخطاء تحدياً، وهما أمران أساسيان لبناء الثقة في المخرجات. علاوة على ذلك، يمكن أن تؤدي بيانات التدريب المنحازة إلى نتائج ضارة، بينما قد تقلل محاولات جعل LLMs أكثر موثوقية بشكل غير مقصود من فعاليتها.
ظهور نماذج اللغة الصغيرة (SLMs)
تمثل SLMs حلاً للعديد من التحديات التي تطرحها LLMs. بفضل العدد الأقل من المعلمات وتصميماتها الأبسط، تتطلب SLMs بيانات وتدريب أقل – وغالباً ما تستغرق دقائق أو بضع ساعات، مقارنة بـ LLMs التي قد تستغرق أياماً. تتيح هذه الكفاءة تنفيذها بسهولة على الأجهزة الأصغر.
أحد أبرز مزايا SLMs هو قدرتها على التكيف للاستخدامات المحددة. يمكن تهيئتها لمجالات مثل تحليل المشاعر أو الإجابة عن الأسئلة المحددة، مما يؤدي إلى أداء متفوق مقارنة بالنماذج ذات الأغراض العامة. تحسن هذه التخصصات من الكفاءة في المهام المستهدفة.
علاوة على ذلك، توفر SLMs خصوصية وأماناً معززين. يجعل تصميمها البسيط من السهل تدقيقها، وبالتالي تكون أقل عرضة للاختراق، وهو أمر حاسم في قطاعات مثل الرعاية الصحية والمالية. كما أن احتياجاتها الحاسوبية المنخفضة تعني أنه يمكن تشغيل SLMs محلياً على الأجهزة، مما يعزز أمان البيانات ويقلل من مخاطر التعرض أثناء نقل البيانات.
تكون SLMs أقل عرضة للهلوسات لأن تدريبها يتم عادة على مجموعات بيانات أضيق تتعلق بتطبيقاتها. يقلل هذا التركيز من احتمالية توليد مخرجات غير ذات صلة، مما يؤدي إلى أداء أكثر موثوقية.
يقترح كليم ديلانج، الرئيس التنفيذي لشركة HuggingFace، أن ما يصل إلى 99% من حالات الاستخدام يمكن معالجتها بفعالية باستخدام SLMs، متوقعاً أن تشهد 2024 زيادة في اعتمادها. تعاونت HuggingFace مع Google لدمج منصتها في Vertex AI، مما يتيح نشر سريع لآلاف النماذج.
مبادرة Gemma من Google
بعد أن فقدت Google في البداية بعضاً من ريادتها في سباق LLM لصالح OpenAI، تتجه الآن بجدية نحو تطوير SLMs. في فبراير، أطلقت Google Gemma، سلسلة من نماذج اللغة الصغيرة المصممة لتحقيق الكفاءة وسهولة الاستخدام. يمكن لهذه النماذج أن تعمل على الأجهزة القياسية مثل الهواتف الذكية وأجهزة الكمبيوتر المحمولة دون الحاجة إلى موارد ضخمة.
منذ إطلاقها، تم تحميل نماذج Gemma المدربة أكثر من 400,000 مرة على HuggingFace، مما أدى إلى مشاريع مبتكرة. أحد التطورات الملحوظة هو Cerule، نموذج قوي للجمع بين الصورة واللغة، الذي يدمج Gemma 2B مع SigLIP من Google، وقادر على الأداء الجيد دون الحاجة إلى بيانات كثيفة. مثال آخر هو CodeGemma، النسخة المتخصصة التي تستهدف البرمجة والتفكير الرياضي، وتوفر نماذج مخصصة لمختلف الأنشطة المتعلقة بالبرمجة.
الإمكانات التحولية لـ SLMs
بينما تغوص مجتمع الذكاء الاصطناعي بعمق في فوائد SLMs، تصبح مزايا دورات التطوير الأسرع والكفاءة المعززة والحلول المستهدفة أكثر وضوحاً. تتمتع SLMs بإمكانية تعزيز الوصول إلى الذكاء الاصطناعي وتعزيز الابتكار عبر الصناعات من خلال تمكين التطبيقات المحددة ذات التكلفة المعقولة.
تتيح نشر SLMs على الحافة إمكانيات للتطبيقات الشخصية والآمنة في الوقت الحقيقي، في مجالات تشمل المالية والترفيه والسيارات والتعليم والتجارة الإلكترونية والرعاية الصحية. من خلال معالجة البيانات محلياً وتقليل الاعتماد على البنية التحتية السحابية، تعزز SLMs خصوصية البيانات وتجارب المستخدم.
بينما تواجه LLMs تحديات تتعلق بالمتطلبات الحسابية واحتمالات الاستقرار في الأداء، يعد صعود SLMs بدفع نظام الذكاء الاصطناعي قدماً بسرعة مدهشة.
قائمة الترتيب
