تقدمت نماذج اللغة الكبيرة (LLMs) بشكل ملحوظ في مجالات متعددة، ومع ذلك لا تزال قدراتها على التفكير موضعًا للبحث النشط. لقد درست الدراسات الأخيرة تقنيات تحفيز مختلفة لتحسين مهارات حل المشكلات المنطقية لدى LLMs.
يقدم الباحثون في Meta نهجًا مبتكرًا يُطلق عليه "الانتباه من النظام 2" (S2A)، الذي يدمج مفاهيم من علم النفس. يقوم S2A بتحسين تحفيز المستخدم عن طريق إزالة المعلومات المضللة أو غير ذات الصلة، مما يسمح لنماذج اللغة بالتركيز فقط على البيانات المرتبطة بالمهمة. يعزز هذا التركيز الدقة في مهام الإجابة عن الأسئلة والتفكير.
تكشف التجارب الأولية أن نماذج اللغة التي تستخدم S2A تظهر تحسنًا ملحوظًا، مما يجعلها ذات قيمة خاصة في التطبيقات التي تتطلب قدرات تفكير موثوقة.
LLMs والتفكير
تظهر أداءات التفكير لدى LLMs تباينًا. بينما يمكن أن تعزز بعض استراتيجيات تصميم التحفيز فعاليتها، غالبًا ما تواجه هذه النماذج صعوبة عند مواجهتها لمحتوى غير ذي صلة أو آراء شخصية في التحفيز. على سبيل المثال، عندما يتضمن التحفيز رأيًا شخصيًا أو تخمينًا، قد يقوم النموذج ببساطة بتكرار مدخلات المستخدم بدلاً من تقديم إجابات دقيقة.
تعود هذه القيد إلى آليات التدريب والتركيز الأساسية الوجودة في "المحولات"—الهيكل المستخدم في LLMs. تركز المحولات بشكل كبير على التنبؤ بالرمز التالي، مما يجعلها حساسة للإدخال السياقي. إذا تم ذكر كيان في سياق محدد، يميل النموذج إلى توقع تكراره، مما قد يشوه الناتج من خلال التأكيد على الرموز المتكررة.
فهم نظام الانتباه 2
يقترح الباحثون آلية انتباه مبتكرة تستفيد من LLMs كأدوات تفكير بلغة طبيعية. "نحن نستفيد من قدرة LLMs على اتباع التعليمات، مما يوجهها لتوليد سياق يركز على المعلومات ذات الصلة، مما يقلل من التحيز في التفكير"، كما يوضحون.
من خلال استخدام LLMs المعززة بالإرشادات لمراجعة سياقهم، يقوم S2A بشكل فعال بإزالة النص غير الضروري، موجهًا النموذج لإعطاء الأولوية للمعلومات ذات الصلة قبل توليد الردود. يُشتق مصطلح "نظام الانتباه 2" من مفهوم عالم النفس دانيال كانيمان حول التفكير بنظام 1 ونظام 2، الذي تم مناقشته في كتابه "التفكير، السريع والبطيء".
يتميز التفكير بنظام 1 بالسرعة والحدسية لكنه قد يؤدي إلى التحيز بسبب اعتماده على الاختصارات العقلية. على العكس، يتطلب التفكير بنظام 2 جهدًا إدراكيًا أكبر، ويعالج المعلومات بطريقة أكثر منطقية. تهدف آلية S2A إلى التخفيف من المشكلات التي تنشأ من طرق الانتباه القياسية عندما تتعامل LLMs مع مهام التفكير.
حسب قول الباحثين، "يولد S2A استجابات أكثر واقعية ويقلل من التحيزات مقارنةً بـ LLMs التقليدية المعتمدة على الانتباه."
كيف يعمل S2A
تتكون تقنية S2A من عملية بسيطة من خطوتين. أولاً، يقوم S2A بتعديل السياق الأصلي عن طريق إزالة الأجزاء غير المتعلقة. ثم يتم تمرير السياق المُحسن إلى LLM الأساسي لتوليد مخرجاته.
هناك عدة طرق لتنفيذ الخطوة الأولى. يلاحظ الباحثون، "نستخدم LLMs المدربة على التعليمات الماهرة في مهام التفكير والتوليد المشابهة، مما يمكننا من تنفيذ ذلك كتحفيز إرشادي."
تقدم LLMs المدربة على التعليمات تحكمًا دقيقًا على تركيز النموذج بناءً على متطلبات المهمة أو عملية الضبط الدقيقة. على سبيل المثال، صمم الباحثون وظيفة لإرسال تحفيز بدون عينة، مما يطلب من LLM تنفيذ مهمة S2A المطلوبة على التحفيز الأصلي. يأمر هذا التحفيز النموذج بتجديد السياق مع فصل المعلومات المفيدة عن الاستفسار لتوضيح خطوات التفكير.
كما قدموا عدة متغيرات من S2A. بالنسبة للسياقات الأقصر أو لـ LLMs القوية، قد لا يكون تقسيم السياق والسؤال ضروريًا. قد يكفي ببساطة الطلب لإعادة كتابة غير مقسمة. يحتفظ متغير آخر بالتحفيز الأصلي مع إضافة الاستفسار الذي تم تكوينه بواسطة S2A، مما يسمح للنموذج بالوصول إلى كلا النسختين.
اختبر الباحثون S2A عبر مهام متعددة، بما في ذلك إجابة الأسئلة، والتفكير الطويل، ومشكلات الرياضيات التي تحتوي على معلومات غير ذات صلة أو مضللة. يهدف S2A إلى الإجابة عن الأسئلة بموضوعية من خلال توجيه النموذج للاعتماد على البيانات التي تقدم أدق الإجابات.
النتائج والتوجهات المستقبلية
تشير التجارب إلى أن S2A مقاوم لتحيز الآراء، ويتيح لـ LLMs الأداء تقريبًا بنفس مستوى الأداء عند تقديم تحفيز نظيف خالٍ من المشتتات. علاوة على ذلك، تُظهر LLMs المزودة بـ S2A تحسينًا في الموضوعية في مهام التوليد الطويلة.
ومع ذلك، يعترف الباحثون أن S2A ليس خاليًا من العيوب؛ إذ قد تتأثر النماذج أحيانًا بالارتباطات غير ذات الصلة. بالإضافة إلى ذلك، يزيد S2A من تكلفة الحساب لتوليد الردود، حيث يقدم خطوات إضافية ويتطلب استخراج المعلومات السياقية. تبرز هذه الجوانب كحقول لتحسينات مستقبلية، مما يضع S2A كإضافة واعدة لأدوات تقنيات التفكير لتطبيقات LLM.
قائمة الترتيب
