مبدعو "Attention Is All You Need" يستكشفون الابتكارات في الذكاء الاصطناعي ما وراء نماذج Transformers في مؤتمر Nvidia GTC: "العالم يحتاج إلى حل أفضل".

اجتمع سبعة من ثمانية مؤلفين لورقة البحث الرائدة "الانتباه هو كل ما تحتاجه"، التي قدمت نماذج Transformers، للمرة الأولى كمجموعة في حديث مع الرئيس التنفيذي لشركة Nvidia، جنسن هوانغ، في قاعة ممتلئة خلال مؤتمر GTC اليوم. شمل الحضور: نوام شازير، المؤسس المشارك والرئيس التنفيذي لشركة Character.ai؛ آيدن غوميز، المؤسس المشارك والرئيس التنفيذي لشركة Cohere؛ أشيش فاسواني، المؤسس المشارك والرئيس التنفيذي لشركة Essential AI؛ ليون جونز، المؤسس المشارك والمدير التقني لشركة Sakana AI؛ إيلليا بولوسوخين، المؤسس المشارك لبروتوكول NEAR؛ ياكوب أوسكهوريت، المؤسس المشارك والرئيس التنفيذي لشركة Inceptive؛ ولوكاس كايزر، عضو الطاقم الفني في OpenAI. لم تتمكن نيكي بارمار، المؤسِس المشارك لشركة Essential AI، من الحضور.

في عام 2017، حقق الفريق المكون من ثمانية أفراد في Google Brain إنجازًا كبيرًا مع Transformers — تقدم في الشبكات العصبية للمعالجة اللغوية الطبيعية (NLP) قادر على التقاط السياق والمعنى بدقة أكبر من الأساليب السابقة مثل الشبكات العصبية المتكررة والشبكات قصيرة وطويلة المدى. أصبحت بنية Transformer الأساس لنماذج اللغة الكبيرة مثل GPT-4 وChatGPT، بالإضافة إلى التطبيقات غير اللغوية بما في ذلك Codex من OpenAI وAlphaFold من DeepMind.

"العالم يحتاج إلى شيء أفضل من Transformers"

لكن الآن، يبحث مبتكرو Transformers عن ما هو أبعد مما بنوه – نحو المستقبل لنماذج الذكاء الاصطناعي. قال غوميز من Cohere إنه "في هذه المرحلة، يحتاج العالم إلى شيء أفضل من Transformers"، مضيفًا "أعتقد أن جميعنا هنا يأمل أن يتبع ذلك شيء يقودنا إلى مستوى جديد من الأداء." ثم سأل باقي المجموعة: "ماذا ترون قادمًا بعد ذلك؟ هذه الخطوة مثيرة لأنني أعتقد أن [ما هو موجود الآن] شبيه جدًا بما كان موجودًا قبل ست أو سبع سنوات."

في حديث مع وسائل الإعلام بعد الجلسة، وسع غوميز تعليقه، قائلاً: "سيكون من المحزن حقًا إذا كانت [Transformers] هي الأفضل التي يمكننا القيام بها"، مشيرًا إلى أنه كان يفكر بهذه الطريقة منذ اليوم التالي لتقديم الفريق ورقة "الانتباه هو كل ما تحتاجه". "أريد أن أرى شيئًا آخر يعوضها يكون أفضل بعشر مرات، لأن ذلك يعني أن الجميع سيكون لديهم وصول إلى نماذج أفضل بعشر مرات."

وأشار إلى أن هناك العديد من الكفاءات غير المستغلة في جانب الذاكرة لـ Transformers، وأن العديد من المكونات المعمارية للنموذج ظلت كما هي منذ البداية ويجب "إعادة استكشافها وإعادة النظر فيها". على سبيل المثال، فإن "السياق الطويل جدًا يصبح مكلفًا وغير قابل للتوسع." بالإضافة إلى ذلك، "قد تكون المعلمات بحجم غير ضروري، نستطيع ضغطها بشكل أكبر، ويمكننا مشاركة الأوزان بشكل متكرر — مما قد يؤدي إلى تقليل الأبعاد بمقدار كبير."

"يجب أن تكون أفضل بشكل واضح وملحوظ"

ومع ذلك، اعترف بما أن بقية مؤلفي الورقة قد يتفقون، إلا أن غوميز أشار إلى أن هناك "درجات متفاوتة لحدوث ذلك. وربما تختلف القناعات حول ما إذا كان ذلك سيحدث. لكن الجميع يريد شيئًا أفضل — نحن جميعًا علماء في القلب — وهذا يعني أننا نريد رؤية تقدم."

ولكن خلال الجلسة، أشار جونز من Sakana إلى أنه لكي تنتقل صناعة الذكاء الاصطناعي إلى الخطوة التالية بعد Transformers — مهما كانت — "لا يكفي أن تكون أفضل فقط، يجب أن تكون أفضل بشكل واضح وملحوظ... لذلك [الآن] عالقة في النموذج الأصلي، على الرغم من أنه من الناحية التقنية ربما ليس الأكثر قوة في الوقت الحالي."

واتفق غوميز، موضحًا للوسائل الإعلامية أن Transformer أصبحت شائعة ليس فقط لأنها كانت نموذجًا معماريًا جيدًا، ولكن لأن الناس كانوا متحمسين حيالها — تحتاج إلى كليهما. "إذا فاتتك أي من هذين الشيئين، فلن تتمكن من تحريك المجتمع," حسبما أوضح. "لذا، من أجل تحفيز الزخم للانتقال من نموذج إلى آخر، يجب حقًا تقديم شيء أمامهم يثير حماس الناس."