الكاتب في Meta Galactica يتحدث عن التحديات التي واجهتها العارضة خلال تجربة إطلاقها الصعبة.

قبل عام، وقبل إطلاق OpenAI لـ ChatGPT بفترة قصيرة، قدمت شركة ميتا نموذجها الخاص للغة الكبيرة - غالاكتيكا. أثار هذا النموذج جدلاً كبيراً وسُحب بعد أيام قليلة من ظهوره. الآن، شارك أحد المؤلفين الأصليين رؤى حول الرحلة المضطربة للمشروع.

روس تايلور، أحد مؤسسي منصة Papers with Code، التي تحفظ أبحاث تعلم الآلة، كان له دور أساسي في تطوير غالاكتيكا، النموذج المدرب على الأدبيات العلمية. للأسف، واجهت نسخة العرض الخاص بالنموذج مشاكل خطيرة، حيث كانت تولد اقتباسات لأبحاث غير موجودة.

في منشور صريح على X (تويتر سابقاً)، عكس تايلور التحديات التي واجهها الفريق، معترفاً: "كنا منهكين وفقدنا الوعي بالوضع عند الإطلاق بسبب إصدار [نسخة] تجريبية" دون القيام بفحوصات جودة كافية. وأقر بأنهم توقعوا انتقادات محتملة، لكن كثافة العمل طمست تركيزهم.

على الرغم من أدائه القوي مقارنة بالنماذج مثل PaLM من جوجل وChinchilla من DeepMind، overshadowed تجربة غالاكتيكا. أوضح تايلور أن الهدف من النسخة التجريبية كان قياس الاستفسارات العلمية المقدمة للنماذج اللغوية الكبيرة. ومع ذلك، أشار إلى أننا "كان ينبغي أن نعرف أفضل"، معترفاً بأن الصحفيين غالباً ما اختبروا النموذج خارج نطاقه المقصود.

من المثير للاهتمام أنه عزا بعض ردود الفعل السلبية إلى تصورات المستخدمين، حيث اعتبر الكثيرون غالاكتيكا منتجاً مكتملًا، على الرغم من أنه كان فقط نموذجاً تجريبياً. قال: "عرضنا رؤيتنا على الموقع، مما أحدث توقعات مضللة". أعرب عن أنه بينما كان من الممكن التخفيف من الخلاف، كانت المخاوف بشأن توليد غالاكتيكا "علم زائف" مبالغاً فيها.

في ذلك الوقت، أعرب شخصيات بارزة مثل مايكل بلاك من معهد ماكس بلانك عن القلق، مقترحين أن غالاكتيكا يمكن أن تؤجج موجة من التزوير العلمي العميق. انتقد غرادي بوتش، أحد المطورين الرئيسيين للغة النمذجة الموحدة، النموذج باعتباره "لا يتجاوز كونه هراءً إحصائياً على نطاق واسع". رداً على ذلك، وصف تايلور الكثير من الانتقادات بأنها "سخيفة جداً"، مؤكدًا على أن المشروع كان يمكن أن يُطلق بشكل أكثر نجاحًا مع التخطيط الدقيق.

عند النظر إلى الوراء، وقف تايلور بحزم وراء البحث وحتى قرار إصدار النموذج التجريبي، معتبراً أنه كان فعل انفتاح من جهة فاعل رئيسي في هذا المجال. وأعرب عن أن "هذا الانفتاح غير المسبوق كان مضللاً بالنظر إلى الثغرات التي كشفها". أدت التزام ميتا بنهج مفتوح المصدر منذ ذلك الحين إلى تطوير LLaMA ونظيره الأكثر تقدماً Llama 2، مع استفادة هذه النماذج اللاحقة من رؤى غالاكتيكا.

في الختام، أعرب تايلور عن استعداده للقيام بنفس المشروع مرة أخرى، قائلاً: "من الأفضل أن تفعل شيئاً وتندم عليه بدلاً من ألا تفعل شيئاً على الإطلاق." وأكد أنه على الرغم من أن التجربة تبقى مؤلمة، فإن الدروس المستفادة كانت لا تقدر بثمن.