أظهرت النماذج اللغوية الكبيرة (LLMs) إمكانيات واعدة في معالجة مهام التخطيط والاستدلال من خلال استكشاف حلول متنوعة. ومع ذلك، فإن الطرق الحالية قد تكون بطيئة ومرهقة حاسوبياً، وفي بعض الأحيان تؤدي إلى نتائج غير موثوقة.
لمواجهة هذه التحديات، طور باحثون من جامعة كورنيل ومركز أبحاث IBM تقنية AutoToS، التي تجمع بين قدرات التخطيط للنماذج اللغوية الكبيرة وكفاءة ودقة خوارزميات البحث القائمة على القواعد. تقلل تقنية AutoToS من تدخل البشر وتقلل بشكل كبير التكاليف المرتبطة بحل مشاكل التخطيط، مما يجعلها حلاً قابلاً للتطبيق في تطبيقات النماذج اللغوية الكبيرة التي تتطلب اتخاذ قرارات مدروسة عبر مساحات حلول واسعة.
تقنيات مبتكرة للتخطيط
ارتفع الاهتمام باستخدام النماذج اللغوية الكبيرة في قضايا التخطيط، مما أدى إلى ابتكار طرق متنوعة. من بين الأكثر فعالية، تستخدم تقنية Tree of Thoughts النماذج اللغوية الكبيرة كخوارزمية بحث للتحقق من الحلول واقتراح تصحيحات. ومع ذلك، تواجه هذه التقنيات تحديين رئيسيين: الطلب العالي على استدعاءات النماذج اللغوية الكبيرة، والذي قد يكون مكلفًا، ونقص الضمانات بشأن "الاكتمال" و"الصحة". يضمن الاكتمال العثور على الحل إذا كان موجودًا، بينما يؤكد الصحة أن أي حل مُقدم هو صالح.
تقترح تقنية Thought of Search (ToS) بديلاً من خلال الاستفادة من النماذج اللغوية الكبيرة لتوليد الشيفرات للوظائف الأساسية لخوارزميات البحث: وظيفة الخلف، التي تستكشف مختلف العقد، ووظيفة الهدف، التي تحدد ما إذا تم الوصول إلى الحالة المرغوبة. تعزز هذه الطريقة الكفاءة من خلال تقليل الحاجة لتدخل النماذج اللغوية الكبيرة طوال عملية البحث.
يشرح مايكل كاتز، أحد أعضاء فريق البحث الرئيسي في مركز أبحاث IBM، قائلاً: "تاريخياً، كان مجتمع التخطيط إما يقوم برمجة هذه المكونات يدويًا لمشكلات جديدة أو توليدها من أوصاف لغة التخطيط، التي كانت إما مدخولة يدويًا أو مستفادة من البيانات. كنا نهدف إلى استخدام النماذج اللغوية الكبيرة لتوليد الشيفرات لمكونات البحث من أوصاف النصوص."
حققت تقنية ToS الأصلية تقدمًا واعدًا في صحة واكتمال خوارزميات البحث، لكنها كانت تتطلب خبراء بشريين لتقديم الملاحظات على الشيفرات المُنتجة، مما أدى إلى اختناق يؤثر على سرعة الخوارزمية.
أتمتة العملية باستخدام AutoToS
لمواجهة هذا القيد، تقوم تقنية AutoToS بأتمتة عملية الملاحظات وتصحيح الأخطاء باستخدام اختبارات وحدات وتصريحات تصحيح الأخطاء، بالإضافة إلى تقنيات التحفيز باللقاءات القليلة وسلسلة الأفكار (CoT).
تعمل AutoToS على عدة خطوات. أولاً، تزود النموذج اللغوي الكبير بوصف المشكلة وتحفزه على توليد الشيفرات لوظيفتي الخلف والهدف. بعد ذلك، يتم تقييم وظيفة الهدف باستخدام اختبارات الوحدات، مما يوفر ملاحظات للتعديلات الضرورية. بمجرد أن تجتاز وظيفة الهدف الاختبارات، تقوم الخوارزمية بإجراء بحث محدود بالعمق للتأكد من الصحة والاكتمال، مع التكرار حتى تلبي الوظائف جميع المعايير. وأخيرًا، يتم دمج الوظائف المعتمدة في خوارزمية بحث كلاسيكية، مما ينفذ البحث الكامل بكفاءة.
تقييم AutoToS
قيم الباحثون تقنية AutoToS عبر مهام تخطيط واستدلال متنوعة، بما في ذلك BlocksWorld وMini Crossword و24 Game—حيث يجب دمج أربعة أعداد رياضيًا لتصل إلى 24. استخدموا نماذج لغوية كبيرة متنوعة، بما في ذلك GPT-4 وLlama 2 وDeepSeek Coder، لتحليل اختلافات الأداء بناءً على حجم النموذج.
أشارت النتائج إلى أن AutoToS مكنت جميع النماذج من تحديد وتصحيح أخطاء الشيفرة باستخدام الملاحظات. عمومًا، أنتجت النماذج الأكبر وظائف هدف دقيقة بدون ملاحظات واحتاجت إلى عدد قليل من التكرارات لتحسين وظيفة الخلف. ومن الجدير بالذكر أن GPT-4-mini أظهر نتائج دقيقة قوية على الرغم من حجمه الأصغر.
أضاف الباحثون، "مع عدد قليل من الاستدعاءات للنموذج اللغوي، نظهر أنه يمكننا الحصول على مكونات البحث دون ملاحظات بشرية مباشرة، مما يضمن الصحة والاكتمال ودقة تقارب 100% عبر جميع النماذج والمجالات." تقلل AutoToS بشكل كبير من استدعاءات النماذج اللغوية الكبيرة مقارنة بالطرق الأخرى؛ على سبيل المثال، حل 1,362 لغزًا في مجموعة بيانات 24 Game تطلب حوالي 100,000 استدعاء لـ GPT-4 باستخدام الطرق السابقة، بينما تطلبت AutoToS حوالي 2.2 استدعاء في المتوسط.
علق كاتز قائلاً، "مع هذه المكونات، يمكننا استخدام خوارزمية BFS القياسية لحل جميع الألعاب الـ1,362 في أقل من ثانيتين بدقة كاملة، وهو أمر لم يكن ممكنًا في الطرق السابقة."
آثار تطبيقات الشركات
تحمل AutoToS إمكانات كبيرة للسياقات المؤسسية التي تتطلب حلول تخطيطية. من خلال تقليل تكاليف استخدام النماذج اللغوية الكبيرة والاعتماد على المدخلات اليدوية، تتيح للخبراء التركيز على التخطيط عالي المستوى وتحديد الأهداف.
يؤكد كاتز، "نأمل أن تعزز AutoToS كلاً من تطوير ونشر الحلول المبنية على التخطيط، باستخدام النماذج اللغوية لإنشاء مكونات بحث قابلة للتحقق وتسريع التنمية مع تجنب المشكلات المعتادة المرتبطة بنشر النماذج اللغوية الكبيرة."
تمثل ToS وAutoToS مثالاً على الذكاء الاصطناعي العصبي الرمزي، وهو نهج هجين يجمع بين التعلم العميق والأنظمة القائمة على القواعد لمواجهة التحديات المعقدة. يُعترف بشكل متزايد بهذا النهج كاتجاه فعال لمعالجة أوجه القصور في أنظمة الذكاء الاصطناعي الحالية.
قال هارشا كوكيل، عالم أبحاث في IBM: "لا أشك في الدور المستقبلي للأنظمة الهجينة في الذكاء الاصطناعي. يمكن النظر إلى النماذج اللغوية الحالية على أنها أنظمة هجينة لأنها تؤدي بحثًا لتحديد الرموز التالية."
بينما تُظهر ToS وAutoToS وعودًا كبيرة، تظل المزيد من الاستكشافات ضرورية.
“إنه مثير للاهتمام أن نشهد كيف يتطور التخطيط باستخدام اللغة الطبيعية، وكيف يمكن للنماذج اللغوية الكبيرة تعزيز دمج أدوات التخطيط في عمليات اتخاذ القرار، مما يمهد الطريق لوكلاء ذكيين في المستقبل،” اختتم كوكيل وكاتز. "نتطلع إلى استكشاف كيف يمكن أن تثري المعرفة العالمية للنماذج اللغوية الكبيرة التخطيط والعمل في مواقف العالم الحقيقي."
قائمة الترتيب
