H2O AI تكشف عن "دانوب": نموذج لغة صغير للغاية مُصمم لتطبيقات الهواتف المحمولة

أعلنت شركة H2O AI، الملتزمة بجعل الذكاء الاصطناعي في متناول الجميع من خلال أدوات مفتوحة المصدر وأخرى مملوكة، عن إطلاق دانوب، وهو نموذج لغة كبير فائق الخفة مصمم خصيصًا للأجهزة المحمولة.

سُمِّيَ دانوب على اسم ثاني أكبر نهر في أوروبا، ويضم 1.8 مليار معلمة، ويُعتقد أنه يتطابق أو يتجاوز أداء النماذج الأخرى من نفس الحجم في مجموعة متنوعة من مهام اللغة الطبيعية. وهذه الميزة تجعله يتنافس مع شركات مرموقة مثل Microsoft وStability AI وEleuther AI.

يتماشى توقيت هذا الإعلان بشكل مثالي مع الاهتمام المتزايد بين الشركات التي تطور أجهزة استهلاكية لاستغلال إمكانيات الذكاء الاصطناعي التوليدي في وضع عدم الاتصال. من خلال تمكين النماذج من العمل محليًا على الأجهزة، يمكن للمستخدمين الحصول على مساعدة سريعة دون الاعتماد على الخدمات السحابية.

قال سري أمباتي، الرئيس التنفيذي والشريك المؤسس لشركة H2O: "نحن متحمسون لتقديم H2O-Danube-1.8B كنموذج لغة محمول للأجهزة المحمولة. لقد جعلت زيادة كفاءة الأجهزة ذات الحجم الأصغر وأساليب التدريب الأكثر فاعلية النماذج متوسطة الحجم أكثر قابلية للوصول. نعتقد أن H2O-Danube-1.8B ستحدث ثورة في تطبيقات الأجهزة المحمولة التي تعمل في وضع عدم الاتصال."

الميزات الرئيسية لنموذج دانوب-1.8B

على الرغم من إطلاقه مؤخرًا، تؤكد H2O أن دانوب يمكن ضبطه لمجموعة متنوعة من التطبيقات اللغوية الطبيعية على الأجهزة المدمجة، بما في ذلك التفكير السليم، وفهم القراءة، والتلخيص، والترجمة.

لتدريب هذا النموذج، جمعت H2O تريليون رمز من مصادر ويب متنوعة واستخدمت تقنيات متقدمة مأخوذة من نماذج Llama 2 وMistral لتعزيز قدراته.

وقال المتحدث باسم الشركة على منصة Hugging Face: "قمنا بتكييف بنية Llama 2 لتحتوي على حوالي 1.8 مليار معلمة. استخدمنا جهاز التشفير الخاص بـ Llama 2 الذي يحتوي على مفردات تضم 32,000 كلمة، وقمنا بتدريب النموذج لتحقيق طول سياق يبلغ 16,384. بالإضافة إلى ذلك، دمجنا آلية الانتباه ذات النافذة المنزلقة من Mistral بحجم 4,096."

تظهر المقاييس أن دانوب يقدم أداءً مماثلاً أو حتى أفضل من معظم النماذج في نطاق 1-2 مليار معلمة. على سبيل المثال، في اختبار Hellaswag لتقييم الاستنتاجات اللغوية الطبيعية السليمة، حقق دقة بلغت 69.58%، متفوقًا فقط على نموذج Stable LM 2 من Stability AI الذي يحتوي على 1.6 مليار معلمة وتم تدريبه مسبقًا على 2 تريليون رمز. في معايير Arc للإجابة المتقدمة على الأسئلة، احتل دانوب المركز الثالث، محققًا دقة بنسبة 39.42%، بعد Microsoft Phi 1.5 (1.3 مليار معلمة) وStable LM 2.

أدوات للتبني السلس

تم إصدار دانوب-1.8B بموجب ترخيص Apache 2.0، وهو متاح للاستخدام التجاري. يمكن للفرق المهتمة بتنفيذ هذا النموذج لتطبيقات الجوال تحميله من Hugging Face وتخصيصه للحالات الاستخدامية المحددة.

لتسهيل هذه العملية، تخطط H2O لإطلاق أدوات إضافية قريبًا. علاوة على ذلك، يتوفر إصدار مُعد للدردشة من النموذج — H2O-Danube-1.8B-Chat — أيضًا للتطبيقات الحوارية.

على المدى الطويل، من المتوقع أن يساهم تقديم دانوب ونماذج مماثلة في تعزيز تطبيقات الذكاء الاصطناعي التوليدية غير المتصلة بالإنترنت على الهواتف الذكية وأجهزة الكمبيوتر المحمولة، مما يحسن مهامًا مثل تلخيص البريد الإلكتروني، ومساعدة الكتابة، وتحرير الصور. وقد اتخذت شركة Samsung خطوات في هذا الاتجاه مع إطلاق خط هواتفها الذكية S24.