تطرح أسئلة حول أداء نموذج الذكاء الاصطناعي الجديد Open Source AI Leader Reflection 70B، والذي وُجهت له اتهامات بـ "الاحتيال".

في عطلة نهاية أسبوع واحدة فقط، واجه المتسابق الجديد في نماذج الذكاء الاصطناعي مفتوح المصدر تدقيقًا كبيرًا، مما أثار الشكوك حول سمعته. نموذج Reflection 70B، وهو نسخة من نموذج لاما 3.1 الضخم الذي أصدرته شركة ميتا، تم إطلاقه بواسطة شركة هايبرايت، التي كانت تعرف سابقًا باسم OthersideAI، وقد تم الإشادة به لتحقيقه معايير مثيرة للإعجاب. ومع ذلك، أثارت التقييمات اللاحقة من قبل مختبرين مستقلين تساؤلات حول صحة هذه الادعاءات.

في 6 سبتمبر 2024، أعلن مات شومر، المؤسس المشارك لشركة هايبرايت، عبر منصة التواصل الاجتماعي X، أن نموذج Reflection 70B هو "الأعلى في العالم بين نماذج المصدر المفتوح". وقد أوضح شومر استخدام النموذج لتقنية "ضبط الانعكاس"، التي تمكّن نماذج اللغة الكبيرة من التحقق من دقة outputs قبل تقديمها للمستخدمين، مما يعزز الأداء في مجالات متعددة.

ومع ذلك، بحلول 7 سبتمبر، تحدت منظمة تُدعى Artificial Analysis هذا الادعاء علنًا. واستند تحليلهم إلى أن نموذج Reflection 70B حقق نفس درجة MMLU كنموذج لاما 3 70B، ولكنه كان أدنى بكثير مقارنة بنموذج لاما 3.1 70B من ميتا، مما خلق تباينًا واضحًا مع نتائج هايبرايت الأولية.

اعترف شومر لاحقًا أن أوزان النموذج تعرضت لمشاكل خلال عملية التحميل إلى منصة Hugging Face، مما قد يفسر الفروقات في الأداء مقارنة بالاختبارات الداخلية.

في 8 سبتمبر، بعد اختبار واجهة برمجة تطبيقات خاصة، اعترفت منظمة Artificial Analysis بأنها لاحظت نتائج مثيرة للإعجاب لكنها غير مؤكدة، لم تلبِ ادعاءات هايبرايت الأصلية. كما طرحت أسئلة حرجة حول إصدار نسخة غير مختبرة من النموذج وغياب أوزان النموذج المنشورة لنسخة واجهة برمجة التطبيقات الخاصة.

عبر أعضاء المجتمع في منتديات Reddit المعنية بالذكاء الاصطناعي عن شكوكهم أيضًا حول أداء Origins Reflection 70B. وزعم بعضهم أنه يبدو كنسخة من لاما 3 بدلاً من لاما 3.1 المتوقع، مما أثار مزيدًا من الشكوك حول شرعيته. حتى اتهم أحد المستخدمين شومر بارتكاب "احتيال في مجتمع أبحاث الذكاء الاصطناعي".

رغم الانتقادات، دافع بعض المستخدمين عن Reflection 70B، مشيرين إلى أدائه القوي في حالات الاستخدام الخاصة بهم. ومع ذلك، يبرز الانتقال السريع من الحماس إلى النقد الطبيعة المتقلبة لمجال الذكاء الاصطناعي.

انتظر مجتمع أبحاث الذكاء الاصطناعي لمدة 48 ساعة تحديثات من شومر حول أداء النموذج وأوزانه المصححة. وفي 10 سبتمبر، أخيرًا تناول الجدل قائلًا: "تسرعت في هذا الإعلان، وأعتذر. اتخذنا قرارات بناءً على المعلومات المتاحة لدينا. أعلم أن الكثيرين متحمسون لهذه الإمكانية لكنهم متشككون. يعمل فريق بجد للتأكد مما حدث. بمجرد وضوح المعلومات، سنكون شفافين مع المجتمع".

وأشار شومر إلى منشور من ساهيل تشودري، مؤسس Glaive AI، الذي أكد لبس الفهم حول ادعاءات النموذج وعلق على صعوبة إعادة إنتاج درجات المعايير.

قال تشودري: "أريد أن أaddress النقد المشروع. أحقق في الوضع وسأقدم ملخصًا شفافًا قريبًا. لم أقم بتشغيل نماذج من مزودين آخرين في أي وقت، وهدفي هو شرح الفروقات، بما في ذلك السلوكيات غير المتوقعة مثل تخطي بعض المصطلحات. لدي الكثير لاستكشافه فيما يتعلق بالمعايير وأقدر صبر المجتمع بينما أعيد بناء الثقة".

تظل الحالة غير حاسمة، مع استمرار الشكوك حول كل من Reflection 70B وادعاءاته داخل مجتمع الذكاء الاصطناعي مفتوح المصدر.