منذ نشر ورقة البحث الثورية "الاهتمام هو كل ما تحتاجه" عام 2017، أصبحت النماذج القائمة على "Transformers" تهيمن على مشهد الذكاء الاصطناعي التوليدي. ومع ذلك، فإن "Transformers" ليست الوحيدة التي تمثل نهجًا viable في هذا المجال. قدمت AI21 Labs إطار عمل جديد يسمى "Jamba"، الذي يسعى إلى التقدم بما يتجاوز "Transformers" التقليدية.
يمزج "Jamba" بين نموذج "Mamba"، المبني على نموذج الفضاء الحالى المنظم (SSM)، مع هندسة "Transformers" لإنشاء حل مُحسن للذكاء الاصطناعي التوليدي. يمثل مصطلح "Jamba" اختصارًا لـ "Joint Attention and Mamba Architecture"، المصمم لاستغلال نقاط القوة في كل من SSM و"Transformers". يتم إصدار هذا النموذج كمصدر مفتوح بموجب رخصة Apache 2.0.
بينما لا يُنتظر أن يحل "Jamba" محل النماذج الكبيرة القائمة على "Transformers"، يُتوقع أن يكون إضافة قيمة في تطبيقات معينة. تشير AI21 Labs إلى أن "Jamba" يمكن أن يتفوق على نماذج "Transformers" التقليدية في مهام الاستدلال التوليدي، كما يتضح من المعايير مثل HellaSwag. ومع ذلك، فلا يزال بعيدًا عن تجاوز نماذج "Transformers" في مؤشرات حرجة مثل "Massive Multitask Language Understanding" (MMLU) التي تقيم قدرات حل المشكلات.
تتخصص AI21 Labs في الذكاء الاصطناعي التوليدي لتطبيقات المؤسسات، وعُقدت مؤخرًا جولة تمويل بمقدار 155 مليون دولار في أغسطس 2023 لدعم مبادراتها. ومن بين عروضها المؤسسية، يوجد "Wordtune"، أداة تهدف إلى مساعدة المنظمات على إنتاج محتوى يتماشى مع نبرتها وعلامتها التجارية. أفادت الشركة في 2023 أنها نجحت في مواجهة عملاق الذكاء الاصطناعي التوليدي OpenAI في جذب العملاء من المؤسسات.
تقليديًا، استخدمت تكنولوجيا LLM في AI21 Labs هندسة "Transformers"، بما في ذلك عائلة "Jurassic-2 LLM"، التي تعتبر جزءًا من منصة "AI21 Studio" لمعالجة اللغة الطبيعية (NLP) ومتاحة عبر واجهات برمجة التطبيقات لتكامل المؤسسات. ومع ذلك، يمثل "Jamba" تحولًا نحو نموذج هجين يجمع بين SSM و"Transformers".
على الرغم من الدور البارز لـ "Transformers" في الذكاء الاصطناعي التوليدي، إلا أن لديها بعض القيود. فإحدى المشكلات الكبيرة هي أن توسيع نوافذ السياق يؤدي إلى تبطيء الاستدلال. كما يوضح باحثو AI21 Labs، فإن آلية الانتباه في "Transformers" تتوسع مع طول السلسلة، مما يؤدي إلى تقليل القدرة الإنتاجية لأن كل رمز يعتمد على السلسلة الكاملة السابقة، مما يجعل تطبيقات السياقات الطويلة غير فعالة.
تتضمن التحديات الأخرى الحاجات الكبيرة لذاكرة الوصول العشوائي المطلوبة لتوسيع قدرات "Transformers". تزداد متطلبات الذاكرة مع طول السياق، مما يعقد معالجة السياقات الطويلة أو المهام الموازية المتعددة دون موارد ضخمة من الأجهزة. يهدف نهج SSM إلى معالجة هذه القضايا المتعلقة بالسياق والذاكرة.
تم تطوير هيكل SSM لـ "Mamba" في الأصل بواسطة باحثين من جامعتين كارنيجي ميلون وبرينستون، وهو مصمم ليحتاج إلى ذاكرة أقل ويستخدم آلية انتباه مختلفة لإدارة نوافذ السياق الكبيرة. ومع ذلك، لا يزال يواجه صعوبة في تحقيق نفس جودة الناتج التي توفرها نماذج "Transformers". يجمع النهج الهجين لـ "Jamba" بين تحسين الموارد والسياق من SSM مع إمكانيات الناتج الخاصة بـ "Transformers".
تدعي AI21 Labs أن نموذج "Jamba" يتميز بنافذة سياق تصل إلى 256K ويقدم ثلاث مرات الإنتاجية في السياقات الطويلة مقارنة بـ "Mixtral 8x7B". ومن الجدير بالذكر أن "Jamba" هو النموذج الوحيد في فئته القادر على احتواء حتى 140K سياق على وحدة معالجة رسومية واحدة.
على غرار "Mixtral"، يدمج "Jamba" نموذج "Mixture of Experts" (MoE). ومع ذلك، يستخدم "Jamba" الـ MoE ضمن إطاره الهجين من SSM و"Transformers"، مما يمكّن مستويات أعلى من التحسين. على وجه التحديد، تُفعل طبقات MoE في "Jamba" 12 مليارًا فقط من 52 مليار معلمة متاحة أثناء الاستدلال، مما يجعله أكثر كفاءة من نموذج "Transformers" فقط بنفس الحجم، وفقًا لـ AI21 Labs.
في الوقت الحالي، لا يزال "Jamba" في مراحله الأولية ولم يُدرج بعد ضمن عروض AI21 Labs للمؤسسات، على الرغم من أن الشركة تخطط لإطلاق نسخة تعليمية على منصة AI21 في النسخة التجريبية قريبًا.
قائمة الترتيب
