تُبرز الدراما القيادية الحالية في OpenAI الحاجة الملحة لتكامل الأمان الفعال في عملية تطوير نماذج GPT. قرار مجلس إدارة OpenAI بفصل الرئيس التنفيذي سام ألتمان يوم الجمعة أثار قلقًا كبيرًا بشأن أمان الذكاء الاصطناعي، خاصةً بعد تقارير عن احتمال مغادرة بعض كبار المهندسين المسؤولين عن حماية هذه الأنظمة. تعزز هذه الأوضاع المخاوف بين المستخدمين المؤسساتيين بشأن المخاطر المرتبطة بنماذج GPT.
لضمان الاستمرارية والقابلية للتوسع، يجب دمج الأمان بشكل متكامل في عملية إنشاء نماذج الذكاء الاصطناعي، وهو ما لم يتم التعامل معه بعد. يُقال إن قرار المجلس ضد ألتمان كان مدفوعًا بتركيزه المتزايد على تطوير المنتجات والأعمال، ربما على حساب التزامات الأمان والسلامة الخاصة بالشركة.
يعكس هذا الوضع المشهد المتقلب في حوكمة الذكاء الاصطناعي، حيث يسعى مجالس الإدارات المستقلة بشكل متزايد للسيطرة على تدابير السلامة، محدثة صراعات مع ضغوط النمو. إذا استطاع المؤسس المشارك إيليا ساتسكيver ومدراء مستقلون يدعمونه مقاومة ردود الفعل السلبية من المستثمرين ومؤيدي ألتمان، فإن هناك قضايا أمنية رئيسية ظهرت، مما يبرز ضرورة الدمج المبكر للأمان في دورة تطوير البرمجيات للنموذج GPT.
مخاطر خصوصية البيانات وتسربها
حدد براين روميل، خبير بارز في هندسة النماذج، مؤخرًا ثغرة في نماذج GPT من OpenAI تتيح لChatGPT الوصول إلى محادثات الجلسة وعرض الملفات المرفوعة. يقترح إجراء تعديلات أساسية على تحفيزات GPT للتخفيف من هذه المخاطر. في مارس، اعترفت OpenAI وواجهت عيبًا في مكتبة مفتوحة المصدر سمح للمستخدمين بالاطلاع على تاريخ محادثات المستخدمين النشطين الآخرين. كانت المشكلة متعلقة بقاعدة بيانات الذاكرة Redis التي تخزن معلومات المستخدم، والتي كشفت عن بيانات الدفع المرتبطة بـ 1.2% من مشتركي ChatGPT Plus خلال فترة تسع ساعات.
زيادة حالات التلاعب والاختراق
رغم الضمانات بشأن التدابير الوقائية، يتكيف المهاجمون مع استراتيجياتهم لاستغلال جلسات GPT. اكتشف الباحثون من جامعة براون أن استخدام لغات أقل شهرة، مثل الزولو والغيلية، زاد بشكل كبير من النجاح في تجاوز القيود. حققوا معدل نجاح يبلغ 79% في تجنب القيود مع هذه اللغات، مقارنة بأقل من 1% مع الإنجليزية.
أكدت نتائجهم أن ترجمة المدخلات غير الآمنة إلى لغات منخفضة الموارد باستخدام أدوات مثل Google Translate يمكن أن تتجاوز الأمان، مما يؤدي إلى استجابات ضارة من GPT-4.
هشاشة ضد الاختراقات
تكشف أبحاث Microsoft أن نماذج GPT عرضة للتلاعب، وغالبًا ما تنتج مخرجات متحيزة وتظهر معلومات خاصة. أشاروا إلى أن GPT-4، على الرغم من أدائه الأفضل بشكل عام مقارنة بـ GPT-3.5 في الاختبارات، هو أكثر عرضة عندما يتعرض لتحفيزات تهدف لتجاوز الأمان. تمكن الباحثون من تضليل منطق GPT-4V من خلال حوارات نصية، كاشفين عن مخاطر كبيرة يمكن استغلالها في النماذج اللغوية الكبيرة متعددة النماذج (MLLMs). وأظهرت دراسة حديثة معدل نجاح هجوم مذهل يبلغ 98.7% باستخدام استراتيجيات ذاتية عدائية.
تهديدات الأمان من حقن التحفيزات متعددة الوسائط
تواجه GPT-4V من OpenAI، التي تدعم تحميل الصور، ثغرات جديدة بسبب هجمات حقن متعددة الوسائط المحتملة. من خلال تضمين سكربتات خبيثة داخل الصور، يمكن للمهاجمين استغلال النموذج، مما يؤدي إلى تنفيذ مهام غير مصرح بها. تفتقر النماذج اللغوية الكبيرة الحالية إلى خطوات قوية لتنظيف البيانات، مما يجعلها تتقبل أي مدخلات بشكل مفرط، كما أوضح المبرمج سايمون ويليسون.
دمج الأمان المستمر كضرورة
بينما تتسابق الفرق لإصدار نماذج GPT من الجيل التالي، غالبًا ما يطغى الضغط لتحقيق المواعيد النهائية على اعتبارات الأمان. من الضروري تنفيذ بروتوكولات أمان آلية من المراحل المبكرة للتطوير.
يجب أن يكون الهدف تعزيز معدلات نشر الشيفرة البرمجية مع تقليل مخاطر الأمان وتحسين جودة الكود العامة. يجب أن يصبح الأمان جزءًا لا يتجزأ من دورة حياة تطوير البرمجيات (SDLC)، جنبا إلى جنب مع مقاييس مخصصة وسير العمل لمعالجة التحديات الفريدة المتعلقة بـ GPT و LML.
تظهر فرق DevOps عالية الأداء أن دمج الأمان مبكرًا في عملية التصميم يسمح بنشر أسرع وتحسين جودة البرمجيات. التعاون الأكبر بين فرق DevOps والأمان أمر حاسم لتعزيز المساءلة المشتركة حول معدلات النشر وجودة البرمجيات ومقاييس الأمان - وهي مؤشرات أداء رئيسية لكل من الفريقين.
قائمة الترتيب
