تتزايد المخاوف داخل صناعة التكنولوجيا بسبب ارتفاع التكاليف المرتبطة بالنماذج اللغوية الكبيرة (LLMs) التي تدفع الذكاء الاصطناعي التوليدي. ومع ذلك، توفر النماذج الأصغر حلاً واعداً. قال عدنان مسعود، كبير مهندسي الذكاء الاصطناعي في UST، في مقابلة حديثة: "لقد أظهرت ظهور النماذج اللغوية الكبيرة مثل GPT-4 تقدمًا ملحوظًا في الأداء، لكن هذه التحسينات أدت أيضًا إلى زيادة التكاليف". أشار إلى أن الطلبات الحاسوبية للنماذج الكبيرة — بسبب أحجامها الضخمة ومليارات المعلمات — تتطلب طاقة كبيرة. يؤدي هذا الاضطراب الكبير في الحوسبة إلى استهلاك طاقة ملحوظة، مما يزيد من تكاليف التشغيل ويثير القضايا البيئية.
وأضاف مسعود قائلاً: "مع تجاوز أحجام النماذج بصورة متكررة لقدرات الذاكرة الخاصة بوحدات معالجة الرسوميات (GPU)، هناك اعتماد متزايد على الأجهزة المتخصصة أو التقنيات المعقدة لتوزيع النماذج، مما يزيد من تكاليف البنية التحتية". وأكد أن النماذج اللغوية الأصغر يمكن أن تخفض التكاليف وتعزز الكفاءة عند تحسينها بعناية. يمكن أن تؤدي تقنيات مثل تقطير النماذج والتكميم إلى ضغط وتحسين هذه النماذج الأصغر بشكل فعال. يتضمن التقطير تدريب نموذج أصغر على مخرجات نموذج أكبر، بينما يقلل التكميم من دقة الأوزان الرقمية للنموذج، مما ينشئ نموذجًا أصغر وأسرع.
تترجم الكمية المنخفضة من المعلمات في النماذج الأصغر مباشرة إلى متطلبات حوسبة أقل، مما يتيح استنتاجات أسرع وأوقات تدريب أقصر. وأوضح: "يمكن أن يتيح هذا الحجم المضغوط الاندماج السلس ضمن الذاكرة القياسية لوحدات معالجة الرسوميات، مما يلغي الحاجة إلى إعدادات أجهزة متخصصة أكثر تكلفة". هذا التوفير في الاستخدام الحاسوبي والذاكرة ليس فقط يقلل من استهلاك الطاقة بل ويخفض أيضًا من تكاليف التشغيل. يوفر استخدام واجهات برمجة التطبيقات (APIs) لإثبات المفاهيم في مراحلها المبكرة أو النماذج الأولية ضمن الأعباء الإنتاجية فوائد إضافية للمنظمات، وذلك بفضل انخفاض تكاليف كل رمز خلال التوسع. ومع ذلك، حذر مسعود من أن الاعتماد فقط على النماذج اللغوية الكبيرة يمكن أن يؤدي إلى طفرات تكاليف كبيرة عندما تشهد التطبيقات نموًا سريعًا.
بالإضافة إلى تقليل الوقت والتكاليف في التدريب، يمكن أن تخفف النماذج اللغوية الأصغر بشكل كبير من نفقات البنية التحتية السحابية، كما أشار مات بارينغتون، قائد التكنولوجيا الناشئة في الأمريكتين لشركة EY. على سبيل المثال، يؤدي ضبط نموذج محدد المجال على منصات السحابة إلى انخفاض استخدام الموارد. تتيح هذه الخطوة للشركات تخصيص موارد الذكاء الاصطناعي بشكل أكثر فعالية، مع التركيز على المجالات التي تقربهم من مستخدميهم النهائيين. وأضاف: "من خلال اعتماد النماذج اللغوية المدمجة في الحوسبة الطرفية، يمكن للشركات تقليل الاعتماد على موارد السحابة المكلفة، مما يؤدي إلى توفير كبير في التكاليف".
هناك بالفعل العديد من الأمثلة الواعدة على نماذج الذكاء الاصطناعي الفعالة التي تم نشرها حاليًا. تظهر نماذج حديثة مثل phi-1.5 قدرات أداء تنافس تلك الخاصة بالنماذج الأكبر مثل GPT-4، وفقًا لمسطود. بالإضافة إلى ذلك، تم تصميم نماذج متخصصة مثل Med-PaLM 2 خصيصًا لقطاع الرعاية الصحية، بينما تم تصميم Sec-Palm لتطبيقات الأمان. علاوة على ذلك، تظهر نماذج مثل Llama 2 70b كبدائل فعالة من حيث التكلفة، حيث تُسعر بشكل أقل بكثير من منافسيها، مثل PaLM 2 من Google، مما يظهر تقليصًا ملحوظًا مقارنة بالتكرارات السابقة للنماذج. ومن الملاحظ أن نموذج LLaMA الذي يحتوي على 13 مليار معلمة من Meta قد تفوق على GPT-3 الأكبر في عدة اختبارات معيارية.
تهدف المبادرات مثل تحدي BabyLM في جامعة جون هوبكنز إلى تعزيز فعالية النماذج الأصغر لمنافسة نماذج LLMs. علاوة على ذلك، تقدم أمازون سوقًا لهذه النماذج المدمجة التي يمكن تخصيصها لتلبية احتياجات البيانات المحددة للشركات. كما أن منظمات مثل Anyscale وMosaicML تقوم أيضًا ببيع نماذج مثل Llama 2 التي تحتوي على 70 مليار معلمة بأسعار معقولة، مما يسلط الضوء على التحول المتزايد نحو حلول فعالة ومناسبة من حيث التكلفة.
مع استمرار ارتفاع تكاليف نماذج اللغة الكبيرة، تزداد الحاجة إلى البحث عن بدائل اقتصادية. إن تدريب هذه النماذج يتحمل نفقات كبيرة، خاصة بالنسبة لوحدات معالجة الرسوميات مثل H100 من Nvidia، التي يمكن أن تتجاوز تكلفتها 30,000 دولار لكل وحدة. قال مودي سوذكار، الرئيس التنفيذي لشركة Aisera: "هناك قائمة انتظار لمثل هذه وحدات المعالجة، حيث يستخدمها بعض المستثمرين لاستقطاب الشركات الناشئة للحصول على تمويل".
حتى عند شراء وحدات المعالجة الرسومية، فإن توليد عائدات ملموسة ضروري لتعويض تكاليفها المرتفعة، كما أشار سوذكار. واستشهد بمدونة حديثة من شركة رأس المال الاستثماري Sequoia، تسلط الضوء على فجوة كبيرة في التسييل قد تعيق نمو سوق الذكاء الاصطناعي التوليدي. "بمجرد الحصول على GPU، تواجه الشركات تحدي توظيف علماء البيانات، الذين قد تكون حزم تعويضاتهم كبيرة"، أوضح. "علاوة على ذلك، فإن تشغيل نماذج LLMs مكلف بسبب المتطلبات المستمرة لمعالجة التفاعلات، وإدارة وتحديث النماذج، ومعالجة القضايا الأمنية المتعددة."
يتوقع مسعود في المستقبل أن تصل نماذج LLMs المحسنة إلى مستويات أداء مشابهة لنظرائها الأكبر ولكن بتكلفة أقل بكثير. إن المجتمع المفتوح المصدر يتعامل بالفعل مع التحديات العملية من خلال ابتكارات مثل LongLoRA، التي توسع بشكل كبير نوافذ السياق. وختم قائلاً: "إذا كانت الاتجاهات الحالية تشير إلى أي شيء، فقد نشهد قريبًا تكاملاً بين النماذج المفتوحة المصدر والنماذج اللغوية الأصغر، مما يشكل أساس النظام البيئي للنمذجة اللغوية للجيل القادم".
قائمة الترتيب
