قدّم سيرجي إيدونوف، مدير الهندسة في ميتا للذكاء الاصطناعي التوليدي، تقديرًا مفاجئًا بشأن كمية الطاقة المطلوبة لتلبية الطلب المتزايد على تطبيقات الذكاء الاصطناعي خلال العام المقبل: وهي كافية لمفاعلين نوويين جديدين فقط.
خلال ندوة أدرتها في منتدى العمال الرقميين في وادي السيليكون، أشار إيدونوف، الذي يشرف على تدريب نموذج لاما 2 المفتوح المصدر من ميتا، إلى أن هذه الكمية من الطاقة يجب أن تلبي احتياجات البشرية من الذكاء الاصطناعي لمدة عام. في معرض تناول المخاوف حول القدرة العالمية على دعم المتطلبات المتزايدة للطاقة للذكاء الاصطناعي التوليدي، قال: "يمكننا بالتأكيد حل هذه المشكلة."
أقر إيدونوف أن تقييمه كان قائمًا على حسابات تقريبية لكنه اعتبر أنه يشكل تقديرًا منطقيًا للطاقة المطلوبة لـ "الاستدلال"، وهي العملية التي يستجيب بها الذكاء الاصطناعي للاستفسارات أو يقدم التوصيات، وتحدث هذه العملية بعد أن يخضع النموذج لتدريب مكثف.
احتياجات الطاقة للاستدلال تحت السيطرة
ميز إيدونوف بين متطلبات الطاقة للاستدلال والتدريب. وأوضح أن الاستدلال سيتطلب معظم الطاقة المعالجة عندما تستخدم المؤسسات تطبيقات الذكاء الاصطناعي. وتمثّلت حساباته للاستدلال في إطلاق شركة نفيديا المتوقع لمليون إلى مليوني وحدة GPU H100 العام المقبل. عند الاستخدام الكامل لإنشاء رموز لنماذج لغوية متوسطة الحجم، سيعادل ذلك حوالي 100,000 رمز لكل شخص على وجه الأرض يوميًا، وهي كمية كبيرة.
الرموز هي وحدات النص الأساسية التي تستخدمها نماذج اللغة الكبرى لمعالجة وإنشاء اللغة. ما يتطلبه هذا الحساب من طاقة كبير؛ حيث تستهلك كل وحدة GPU H100 حوالي 700 واط. ومع الأخذ في الاعتبار الطاقة الإضافية لمراكز البيانات والتبريد، قَدر إيدونوف هذه الطاقة بحوالي 1 كيلووات لكل وحدة GPU. وفي النهاية، استنتج أنه سيكون من الضروري فقط وجود مفاعلين نوويين لتزويد جميع وحدات GPU بالطاقة بشكل فعال. قال إيدونوف: "على مستوى البشرية، ليس هذا بالكثير"، مشيرًا إلى أن المجتمع يمكنه دعم 100,000 رمز يوميًا لكل شخص.
تحدي البيانات في تدريب الذكاء الاصطناعي التوليدي
وعلى النقيض، أكد إيدونوف أن تدريب نماذج اللغة الكبرى يمثل تحديًا مختلفًا يتمثل في الحصول على بيانات كافية. قدّر أن الإنترنت المتاح للجمهور يشمل حوالي 100 تريليون رمز، لكن هذا العدد ينخفض بشكل كبير بعد التنظيف وإزالة التكرار، ليصل ربما إلى 10-20 تريليون رمز. وأعرب عن قلقه من أن النماذج القادمة قد تحتاج إلى مقدار أكبر من البيانات بحوالي عشرة أضعاف مقارنةً بالإصدارات السابقة. على سبيل المثال، إذا تم تدريب GPT-4 على 20 تريليون رمز، فقد تحتاج النسخة التالية إلى حوالي 200 تريليون رمز، وقد لا تتوفر هذه البيانات بسهولة.
شدد إيدونوف على أن الباحثين يستكشفون تقنيات تحسين لتعزيز تعلم النماذج من مجموعات بيانات أصغر، بالإضافة إلى الاستفادة من مصادر بيانات بديلة، مثل المدخلات متعددة الأنماط (بما في ذلك الفيديو).
رؤى الندوة حول الموارد والابتكارات التكنولوجية
شارك إيدونوف في ندوة بعنوان "إنشاء الرموز: كهرباء عصر الذكاء الاصطناعي التوليدي"، إلى جانب نيك سبيرين، مدير الذكاء الاصطناعي التوليدي في نفيديا، وكيفن تساي، رئيس هندسة الحلول للذكاء الاصطناعي التوليدي في جوجل. ووافق سبيرين على أفكار إيدونوف، مشيرًا إلى أن هناك خزانات بيانات إضافية بخلاف الإنترنت العام، حتى لو كان الوصول إليها مقيدًا.
جادل سبيرين بضرورة وجود نماذج أساسية مفتوحة المصدر قوية لتقليل التكرار الحسابي عبر الجهود المستقلة. يمكن أن تسهم هذه المقاربة التعاونية في الاستفادة من النماذج المدربة مسبقًا، مما يتيح للمنظمات التركيز على تطوير تطبيقات ذكية مباشرة.
وأشار تساي إلى أن العديد من التقنيات الناشئة، مثل الجيل المعزز بالاسترجاع (RAG)، يمكن أن تخفف من عبء التدريب مع تحسين أداء النماذج. يمكن أن تؤدي المبادرات التعاونية إلى نماذج متعددة الاستخدامات عبر تطبيقات متنوعة، وهو ما يعتقد أنه ضروري للاستدامة.
توقعات مستقبلية لتطوير نماذج اللغة الكبرى
في ختام الندوة، دعوت المشاركين لمشاركة توقعاتهم بشأن تقدم نماذج اللغة الكبرى في العامين إلى الثلاثة القادمة. لاحظوا بشكل جماعي أن مسار تحسين نماذج اللغة الكبرى لا يزال غير مؤكد، لكن القيمة الكبيرة التي تقدمها واضحة بالفعل، مع توقع اعتماد واسع النطاق في المؤسسات خلال عامين.
توقع إيدونوف أن يكون لدينا وضوح بشأن جدوى الذكاء الاصطناعي العام خلال ثلاث إلى أربع سنوات. واستنادًا إلى الاتجاهات التكنولوجية السابقة، اقترح سبيرين أن الشركات قد تكون حذرة في البداية في اعتماد تقنيات الذكاء الاصطناعي، لكن القيمة الكبيرة من المحتمل أن تظهر خلال عامين.
حدد تساي التحديات المتعلقة بسلسلة الإمداد، الناجمة عن اعتماد نفيديا على ذاكرة ذات عرض نطاق ترددي عالٍ لوحدات GPU، كعائق رئيسي في تحسين النماذج. ومع ذلك، عبّر عن تفاؤله بشأن الابتكارات مثل مشروع Blib-2 من Salesforce، الذي يسعى لإنشاء نماذج أصغر وأكثر كفاءة، مما قد يتجاوز الحدود الحالية.
قائمة الترتيب
