أعلنت Google DeepMind عن تقديم إطار العمل "Self-Discover" بهدف تعزيز أداء نماذج اللغة الكبيرة (LLMs) وزيادة كفاءة GPT-4.

في سعيهم لتعزيز قدرات التفكير لدى النماذج اللغوية الكبيرة (LLMs)، قدم باحثون من Google DeepMind وجامعة جنوب كاليفورنيا إطار عمل مبتكر للتوجيه الذاتي. تم نشر هذه الطريقة الرائدة على arXiv وHugging Face، وحققت تحسينات ملحوظة في أداء نماذج متعددة، بما في ذلك GPT-4 من OpenAI وPaLM 2 من Google.

يقول الباحثون في ورقتهم: "يعزز التوجيه الذاتي أداء GPT-4 وPaLM 2 في معايير التفكير الصعبة مثل BigBench-Hard وMATH بنسبة تصل إلى 32% مقارنة بأساليب Chain of Thought (CoT)". يمكن هذا الإطار LLMs من التعرف على هياكل التفكير المخصصة للمهام بشكل تلقائي، مما يمكّنها من معالجة المشكلات بكفاءة. من خلال تحليل وحدات التفكير الذاتي المختلفة، مثل التفكير النقدي والتفكير خطوة بخطوة، تستطيع النماذج بناء إطار عمل منطقي واضح لمتابعته أثناء حل المشكلات.

واحدة من الجوانب اللافتة في هذه المقاربة هي كفاءتها، حيث تتطلب 10 إلى 40 مرة أقل من الطاقة الحسابية، مما يجعلها ميزة كبيرة للشركات.

تطور تفكير LLMs

لقد نضجت LLMs لتتعامل مع مجموعة متنوعة من المهام، بفضل قدرتها على معالجة التعليمات والتفكير وتوليد إجابات متماسكة. باستخدام بنية المحولات، تعتمد هذه النماذج على استراتيجيات توجيه متنوعة مستمدة من نظريات إدراكية حول التفكير البشري وحل المشكلات.

بينما تعتبر أساليب Chain of Thought فعالة، فهي غالبًا ما تستند إلى افتراضات ضمنية حول كيفية التعامل مع المهمة. يجادل الباحثون بأن كل مهمة تتمتع بهيكل فريد قد يستفيد من تقنية مخصصة.

مع أبحاثهم الجديدة، يقترح فريق DeepMind وUSC إطار توجيه شامل يتعرف تلقائيًا على الهيكل الأساسي لاختيار الاستراتيجية التفكير الأكثر ملاءمة مع تحسين الكفاءة.

تحسين الأداء الملحوظ

لتقييم فعالية الإطار الجديد، اختبر الباحثون هذا النظام على نماذج متعددة، بما في ذلك GPT-4 وPaLM 2-L، عبر 25 مهمة تفكير، بما في ذلك BigBench-Hard وMATH. تجاوز إطار التوجيه الذاتي طريقة Chain of Thought في 21 من أصل 25 مهمة، محققًا تحسينات في الأداء تصل إلى 32% وزيادة كبيرة في الكفاءة تتطلب 10 إلى 40 مرة أقل من الطاقة الحسابية.

أظهرت النتائج أن النموذج GPT-4 حقق دقة تبلغ 81%، و85%، و73% في مهام Big-Bench Hard وThinking for Doing وMATH على التوالي. بالمقارنة، حققت طريقة Chain of Thought دقة أقل تصل إلى 75%، و52%، و71%. لوحظت فجوة مشابهة في الأداء عند مقارنة مع طريقة التخطيط والحل.

بالنسبة لPaLM 2-L، كانت الدقة المحققة 67%، و69%، و50.5% عبر المهام الثلاث، متفوقة على Chain of Thought (60%، و40%، و42%) وطريقة التخطيط والحل (61%، و42%، و49%).

تعزيز قدرات التفكير في الذكاء الاصطناعي

يمتلك إطار التوجيه الذاتي إمكانيات ثورية في كيفية معالجة LLMs لحل المشكلات، مما يقربها من تحقيق الذكاء العام. تشير دراسات النقل إلى أن الهياكل المنطقية المركبة قابلة للتطبيق على نطاق واسع عبر أنواع النماذج وتشارك خصائص مع التفكير البشري.

اختتم الفريق بقوله: "نحن متحمسون لمواصلة استكشاف التفكير المنظم في LLMs لتعزيز قدرات حل المشكلات واكتشاف طرق جديدة للتعاون بين البشر والذكاء الاصطناعي."