حازت Stability AI على شهرة واسعة بفضل مجموعتها المبتكرة من نماذج الذكاء الاصطناعي التوليدي لتحويل النصوص إلى صور، ولكن الشركة الآن تتوسع في عروضها.
اليوم، كشفت Stability AI عن أحدث إنجازاتها: StableLM Zephyr 3B. هذا النموذج هو نموذج لغة كبير (LLM) يتكون من 3 مليار معلمة، مصمم لمجموعة متنوعة من تطبيقات الدردشة، بما في ذلك توليد النصوص، والتلخيص، وتخصيص المحتوى. يعد StableLM Zephyr 3B نسخة محسنة أصغر من النموذج السابق StableLM لتوليد النصوص الذي تم تقديمه في وقت سابق من هذا العام.
واحدة من المزايا الرئيسية لـ StableLM Zephyr 3B هي حجمه. كونه أصغر من النسخ التي تحتوي على 7 مليارات معلمة، يمكن تشغيله على مجموعة واسعة من الأجهزة مع تقليل استخدام الموارد، مع ضمان استجابة سريعة. تم تحسين النموذج خصيصاً لمهام الإجابة عن الأسئلة والتعليم.
قال عماد مستاقد، المدير التنفيذي لـ Stability AI: "تم تدريب StableLM لفترة أطول على بيانات ذات جودة أعلى مقارنة بالنماذج السابقة، باستخدام عدد مضاعف من الرموز مقارنة بـ LLaMA v2 7b، ومع ذلك فإنه يوازي الأداء الأساسي لذلك النموذج بحجم 40% فقط."
تقديم StableLM Zephyr 3B
StableLM Zephyr 3B ليس نموذجاً جديداً بالكامل، بل هو امتداد للنموذج القائم StableLM 3B-4e1t. تم تصميمه بناءً على نموذج Zephyr 7B من HuggingFace، الذي يعمل بموجب ترخيص MIT مفتوح المصدر، ويستهدف الاستخدام كمساعد. يستخدم Zephyr أسلوب تدريب يسمى تحسين التفضيلات المباشرة (DPO)، والذي يُستخدم أيضاً في StableLM.
أوضح مستاقد أن DPO يعد بديلاً لتقنيات التعلم المعزز المستخدمة في النماذج السابقة، حيث تعمل على تحسينها لتتوافق بشكل أفضل مع تفضيلات البشر. بينما تم تطبيق DPO بشكل عام على نماذج أكبر، فإن StableLM Zephyr يمثل واحدة من أولى الحالات التي يتم فيها استخدام هذا الأسلوب بفعالية في نموذج بحجم 3 مليارات معلمة.
استفادت Stability AI من DPO بالتزامن مع مجموعة بيانات UltraFeedback من مجموعة OpenBMB البحثية، التي تضم أكثر من 64,000 تلميح و256,000 استجابة. إن دمج DPO مع حجم النموذج ومجموعة التدريب المحسنة ينتج عنه مقاييس أداء مثيرة للإعجاب. على سبيل المثال، في تقييم MT Bench، تفوق StableLM Zephyr 3B على نماذج أكبر، بما في ذلك Llama-2-70b-chat من Meta وClaude-V1 من Anthropic.
محفظة متنامية من النماذج
يساهم StableLM Zephyr 3B في مجموعة متزايدة من النماذج التي تطلقها Stability AI، حيث تسعى الشركة الناشئة في مجال الذكاء الاصطناعي التوليدي باستمرار لتعزيز قدراتها. في أغسطس، أطلقت الشركة StableCode لتطوير أكواد التطبيقات، تليها Stable Audio في سبتمبر لتوليد الصوت من النصوص. في نوفمبر، تم تقديم العرض التجريبي لـ Stable Video Diffusion، مما يبرز دخول Stability AI إلى مجال توليد الفيديو.
على الرغم من هذا التوسع، تظل Stability AI ملتزمة بجذورها في توليد الصور من النصوص. وقد قدمت الشركة مؤخراً SDXL Turbo، نسخة أسرع من نموذجها الرائد SDXL لتوليد الصور عبر الانتشار المستقر.
يؤكد مستاقد أن هناك الكثير من الابتكار ما زال قيد الانتظار من Stability AI. "نعتقد أن النماذج الصغيرة والمفتوحة والعالية الأداء المصممة وفقاً لبيانات المستخدمين المحددة ستتفوق على النماذج العامة الأكبر"، أوضح. "مع الإطلاق الكامل لنماذج StableLM الجديدة قريباً، نتطلع إلى مزيد من ديمقراطية نماذج اللغة التوليدية."
قائمة الترتيب
