تقنية جوجل المبتكرة تمنح نماذج اللغة الكبيرة (LLMs) فهماً غير محدود للسياق.

بحث جديد يفتح آفاق غير محدودة لنماذج اللغة

كشف دراسة حديثة من جوجل عن تقدم ثوري في نماذج اللغة الكبيرة (LLMs) - تقديم تقنية "Infini-attention". هذه التقنية المبتكرة تخول نماذج اللغة معالجة نصوص بطول غير محدود مع الحفاظ على متطلبات ثابتة من الذاكرة والحوسبة.

فهم نافذة السياق

تشير "نافذة السياق" إلى عدد الرموز التي يمكن لنموذج ما معالجتها في وقت واحد. على سبيل المثال، إذا تجاوزت محادثة مع ChatGPT نافذة السياق، يتراجع الأداء بشكل ملحوظ، حيث قد يتم تجاهل الرموز السابقة.

مع تخصيص المنظمات لنماذج اللغة لتطبيقات محددة—وإدماج مستندات ومعرفة مخصصة في تفاعلاتها—أصبح التركيز على تمديد طول السياق أمرًا حيويًا لكسب ميزة تنافسية.

Infini-attention: تغيير قواعد اللعبة لنماذج اللغة

وفقًا لباحثي جوجل، يمكن للنماذج التي تستخدم Infini-attention إدارة أكثر من مليون رمز بكفاءة دون زيادة في استخدام الذاكرة. قد تمتد هذه الظاهرة نظريًا إلى ما هو أبعد.

تعمل بنية Transformers، التي تقف وراء نماذج اللغة الكبيرة، تقليديًا مع "تعقيد تربيعي"، مما يعني أن مضاعفة حجم المدخلات من 1000 إلى 2000 رمز يؤدي إلى زيادة أربعة أضعاف في الذاكرة ووقت الحوسبة. تنشأ هذه الكفاءة من آلية الانتباه الذاتي، حيث يتفاعل كل رمز مع كل رمز آخر.

لتخفيف هذه القيود، أنتجت الأبحاث السابقة طرقًا مختلفة لتمديد طول سياق نماذج اللغة الكبيرة. تدمج Infini-attention بين آليات الانتباه التقليدية ووحدة "الذاكرة الضاغطة" التي تتعامل بكفاءة مع التبعيات السياقية الطويلة والقصيرة.

كيف تعمل Infini-attention

تحافظ Infini-attention على آلية الانتباه الأصلية مع دمج الذاكرة الضاغطة لمعالجة المدخلات الممتدة. عندما يتجاوز المدخل طوله السياقي، ترسل النموذج حالات الانتباه القديمة إلى الذاكرة الضاغطة، مما يحافظ على ثوابت الذاكرة لزيادة الكفاءة. يتم اشتقاق الناتج النهائي من دمج الذاكرة الضاغطة مع الانتباه المحلي.

يؤكد الباحثون: "هذا التعديل الحاسم لطبقة انتباه Transformer يسمح بتمديد نماذج اللغة الحالية إلى سياقات غير محدودة من خلال التدريب المستمر والتخصيص."

الأداء والتطبيقات

تم تقييم فعالية Infini-attention بناءً على معايير تسلسلات الإدخال الطويلة. في نمذجة اللغة ذات السياق الطويل، حققت Infini-attention أداءً متفوقًا، حيث أظهرت درجات تعقيد أقل—مما يشير إلى تماسك أعلى—بينما تطلبت ذاكرة أقل بكثير.

في اختبارات استرجاع "رموز المرور"، نجحت Infini-attention في استرجاع رقم عشوائي من نص يصل طوله إلى مليون رمز، متفوقة على البدائل في مهام التلخيص عبر نصوص تصل إلى 500,000 رمز.

رغم أن جوجل لم تكشف عن تفاصيل محددة للنموذج أو الشيفرة للتحقق المستقل، تتماشى النتائج مع الملاحظات حول Gemini، الذي يدعم أيضًا ملايين الرموز في السياق.

مستقبل نماذج اللغة ذات السياق الطويل

تمثل نماذج اللغة ذات السياق الطويل مجال بحث حيوي بين مختبرات الذكاء الاصطناعي الرائدة. على سبيل المثال، يتسع نموذج "Claude 3" من Anthropic إلى 200,000 رمز، بينما يدعم نموذج GPT-4 من OpenAI نافذة سياق تصل إلى 128,000 رمز.

تتمثل إحدى المزايا الرئيسية لنماذج اللغة ذات السياقات غير المحدودة في قدرتها على تخصيص التطبيقات بسهولة أكبر. بدلاً من الاعتماد على تقنيات معقدة مثل التخصيص أو التوليد المدعوم بالاسترجاع، يمكن لنموذج السياق غير المحدود نظريًا معالجة عدد كبير من المستندات، مستهدفًا المحتوى الأكثر صلة بكل استفسار. بالإضافة إلى ذلك، يمكن للمستخدمين تحسين أداء مهام معينة من خلال إدخالات أمثلة شاملة دون الحاجة للتخصيص.

ومع ذلك، لن تحل السياقات غير المحدودة مكان الأساليب الموجودة تمامًا. بل ستخفض من حواجز الدخول، مما يمكّن المطورين من البدء بسرعة في تصميم التطبيقات بأقل جهد هندسي. مع اعتماد المنظمات لهذه التطورات، سيبقى تحسين خط الأنابيب لنماذج اللغة الكبيرة أساسيًا لمعالجة التحديات المتعلقة بالتكلفة، السرعة، والدقة.