مستقبل الذكاء الاصطناعي: ما بعد بنية المحولات
تعتبر بنية المحولات القوة الدافعة وراء النماذج الرائدة في الذكاء الاصطناعي في القطاعين العام والخاص اليوم. ماذا يحمل المستقبل؟ هل ستعزز هذه البنية قدرات التفكير العقلاني؟ ما هي الابتكارات التي تلي المحولات؟ يتطلب تنفيذ الذكاء الاصطناعي حاليًا جمع بيانات كبيرة، وموارد حوسبة GPU، ومهارات متخصصة، مما يجعل تطويره وصيانته مكلفًا.
بدأت عملية نشر الذكاء الاصطناعي مع ظهور روبوتات الدردشة الذكية. الآن، تطورت الشركات الناشئة والمؤسسات لإنشاء مساعدات تعزز من المعرفة والمهارات البشرية. الخطوة التالية المنطقية هي دمج سير العمل المتعددة الخطوات والذاكرة والتخصيص ضمن وكلاء قادرين على إدارة مجموعة متنوعة من المهام عبر وظائف مثل المبيعات والهندسة. الهدف هو أن يمكّن المستخدم الوكيل من فهم الغرض، وتفكيك المهمة إلى خطوات قابلة للتنفيذ، وتنفيذها، سواء من خلال البحث عبر الإنترنت، أو مصادقة أدوات متعددة، أو التعلم من السلوكيات السابقة.
تخيل وجود وكلاء ذكاء اصطناعي شخصية تشبه Jarvis الرقمي، تدير المهام بشكل حدسي على هاتفك. سواءً كان الأمر يتعلق بحجز رحلة إلى هاواي، أو طلب وجبتك المفضلة، أو إدارة الشؤون المالية الشخصية، فإن إمكانيات الوكلاء المخصصين تثير الإعجاب. مع ذلك، من الناحية التقنية، لا يزال لدينا طريق طويل لنقطعه.
هل تعد بنية المحولات نهاية الطريق؟
تتيح آلية الانتباه الذاتي في المحولات للنماذج تقييم أهمية كل رمز إدخال في الوقت ذاته، مما يحسن فهمها للغة والرؤية الحاسوبية من خلال التقاط الاعتمادات طويلة المدى. لكن هذه التعقيدات تؤدي إلى استهلاك عالٍ للذاكرة وأداء بطيء، خاصةً بالنسبة للتسلسلات الطويلة (مثل الحمض النووي).
لمعالجة هذه التحديات، تسعى عدة مبادرات بحثية إلى تحسين أداء المحولات:
1. تحسينات الأجهزة: تعزز FlashAttention كفاءة المحولات من خلال تحسين عمليات القراءة/الكتابة بين أنواع الذاكرة المختلفة على وحدات معالجة الرسومات، مما يقلل من نقل البيانات.
2. الانتباه التقريبي: تهدف الأبحاث إلى تقليل تعقيد آليات الانتباه الذاتي إلى نطاق خطي، مما يسهل التعامل مع التسلسلات الطويلة. تشمل الأساليب "ريفرمر" و"أداء".
بالإضافة إلى هذه التحسينات، تظهر نماذج بديلة لتحدي هيمنة المحولات:
- نماذج الفضاء الحيزي (SSMs): تقدم هذه النماذج، المرتبطة بالشبكات العصبية المتكررة والمطبوعة، حسابات خطية أو قريبة من الخطية للتسلسلات الطويلة. على الرغم من أن نماذج SSMs مثل "Mamba" تستطيع إدارة العلاقات بعيدة المدى بفعالية، إلا أنها لا تزال تتخلف عن المحولات من حيث الأداء الكلي.
تشير التطورات الأخيرة في أبحاث النماذج إلى وجود متاح للعامة وتدل على المشهد المتغير لتقنيات الذكاء الاصطناعي.
إصدارات نماذج ملحوظة
تعتبر أحدث إصدارات النماذج من قادة الصناعة—OpenAI وCohere وAnthropic وMistral—تحظى باهتمام خاص، خاصةً النموذج الأساسي لشركة Meta الذي يركز على تحسين المترجمات.
بجانب المحولات التقليدية، نشهد صعود نماذج الفضاء الحيزي، والنماذج الهجينة التي تجمع بين SSMs والمحولات، ونموذج مزيج الخبراء (MoE)، وتركيب الخبراء (CoE). تتضمن النماذج الأساسية التي نالت الاهتمام:
- نموذج DBRX من Databricks: يعد هذا النموذج من نوع MoE، ويضم 132 مليار معلمة، يستخدم 16 خبيرًا حيث ينشط منها أربعة فقط أثناء الاستدلال أو التدريب. يتمتع بنافذة سياق تبلغ 32K وتم تدريبه على 12 تريليون رمز، مما يتطلب موارد كبيرة للتدريب المسبق والتحسين.
- نموذج Samba CoE v0.2 من SambaNova Systems: يتكون هذا النموذج من خمسة خبراء لكل منهم 7 مليار معلمة، حيث ينشط خبير واحد فقط للاستدلال. يتميز بأداء سريع يصل إلى 330 رمزًا في الثانية.
- نموذج Jamba من AI21 Labs: يجمع هذا النموذج الهجين بين عناصر المحولات مع بنية Mamba، مما يحسن من معالجة السياقات الطويلة مع معالجة المحددات الموجودة في المحولات التقليدية.
التحديات في اعتماد المؤسسات
رغم وعود النماذج المتقدمة، تواجه المؤسسات تحديات تقنية كبيرة:
- نقص الميزات المؤسسية: تفتقر العديد من النماذج حاليًا إلى الميزات الأساسية مثل التحكم في الوصول بناءً على الأدوار (RBAC) وتسجيل الدخول الأحادي (SSO)، مما يعوق جاهزية المؤسسات. تخصص المنظمات ميزانيات خاصة لتجنب التخلف في مشهد التكنولوجيا.
- تعقيدات الأمن: يمكن أن تزيد الميزات الجديدة للذكاء الاصطناعي من تعقيد أمان البيانات والتطبيقات. على سبيل المثال، قد تقدم أدوات مؤتمرات الفيديو ميزات نصوص ذكية تتطلب مزيدًا من التدقيق لضمان الامتثال، خاصةً في الصناعات الخاضعة للتنظيم.
- الاختيار بين RAG والتخصيص الدقيق: يضمن توليد المعلومات المدعوم بالاسترجاع (RAG) دقة المعلومة ولكنه قد لا يعزز جودة النموذج بقدر فعالية التخصيص الدقيق، الذي يمثل تحديات مثل الإفراط في التخصيص. تعزز البيئة المتغيرة من استخدام RAG، لا سيما مع نموذج Cohere Command R+، وهو أول نموذج بوزن مفتوح يتفوق على GPT-4 في روبوتات الدردشة وسير العمل المؤسسي.
تحدثت مؤخرًا مع قائد ذكاء اصطناعي في مؤسسة مالية كبيرة الذي اقترح أن المستقبل ينتمي ليس لمهندسي البرمجيات ولكن لأولئك الماهرين في صياغة الأوامر. باستخدام رسومات بسيطة ونماذج متعددة الأنماط، يمكن للمستخدمين غير التقنيين إنشاء تطبيقات بسهولة، مما يجعل استخدام الأدوات ميزة مهنية.
الآن، يمتلك الباحثون والمتخصصون والمبتكرون مجموعة متنوعة من الهياكل لاستكشافها في سعيهم نحو نماذج أكثر كفاءة وفعالية من حيث التكلفة ودقة. توفر تقنيات مثل التخصيص الدقيق والبدائل الناشئة مثل تحسين التفضيلات المباشرة (DPO) طرقًا جديدة للابتكار.
بينما يتطور مجال الذكاء الاصطناعي التوليدي بسرعة، قد يكون الأمر مقلقًا للشركات الناشئة والمطورين لمواجهة الأولويات. يحمل المستقبل إمكانيات مثيرة لمن هم مستعدون للابتكار والتكيف.
قائمة الترتيب
