سذاجة النماذج اللغوية الكبيرة في الأمن السيبراني
على الرغم من تعقيدها، تظهر النماذج اللغوية الكبيرة (LLMs) غالبًا سذاجة مدهشة في مسائل الأمن السيبراني. من خلال سلسلة من الموجهات الذكية، يمكنها عن غير قصد الكشف عن معلومات حساسة، أو توليد تعليمات برمجية خبيثة، أو إنتاج نتائج متحيزة، مما يثير مخاوف أخلاقية خطيرة.
يشدد إيلاد شولمان، المؤسس المشارك والرئيس التنفيذي لشركة Lasso Security، على هذه المخاطر: "على الرغم من قوتها، لا ينبغي الثقة بالنماذج اللغوية الكبيرة بلا نقد. إن قدراتها المتقدمة تجعلها عرضة للعديد من الثغرات الأمنية." تهدف Lasso Security، التي أطلقت مؤخرًا بتمويل أولي قدره 6 ملايين دولار من Entrée Capital وSamsung Next، إلى مواجهة هذه التحديات. "قد تتجاوز ثورة النماذج اللغوية الكبيرة ثورتي السحاب والإنترنت معًا. مع التقدم الكبير يأتي خطر كبير."
مخاوف أمنية: كسر الحماية، تسريبات البيانات، والتسميم
أصبحت النماذج اللغوية الكبيرة بسرعة حيوية للأعمال التي تتطلع إلى تحقيق ميزة تنافسية. ومع ذلك، فإن طبيعتها المحادثة وغير المنظمة تجعلها أهدافًا سهلة للاستغلال. من خلال manipulation الموجهات باستخدام تقنيات مثل حقن الموجهات أو كسر الحماية، يمكن لهذه النماذج أن تكشف بيانات التدريب الخاصة بها ومعلومات حساسة عن المؤسسات.
ليست المخاطر محدودة فقط بالهجمات المتعمدة. سوء الاستخدام من قبل الموظفين، كما يتضح من قرار Samsung بحظر أدوات الذكاء الاصطناعي التوليدي بعد تسريبات البيانات، يبرز إمكانية التعرض العرضي للبيانات. يشير شولمان إلى أن "المحتوى الذي يتم إنشاؤه بواسطة LLM يمكن أن يتأثر بإدخال الموجهات، مما قد يمنح المستخدمين وصولًا غير مقصود لوظائف إضافية للنموذج."
يعد تسميم البيانات قضية رئيسية أخرى؛ حيث يمكن أن تؤدي بيانات التدريب المعبث بها إلى إدخال تحيزات تعرض الأمن والمعايير الأخلاقية للخطر. علاوة على ذلك، يمكن أن يؤدي عدم كفاية التحقق من مخرجات LLM إلى ثغرات حرجة. وفقًا لـ OWASP، يمكن أن expose المخرجات غير المراقبة الأنظمة لتهديدات خطيرة مثل هجمات البرمجة النصية عبر المواقع (XSS)، والتزوير عبر الطلبات (CSRF)، وتنفيذ التعليمات البرمجية عن بعد.
تُظهر OWASP مخاوف إضافية، مثل هجمات حرمان الخدمة على النماذج، حيث overload المهاجمون النماذج اللغوية الكبيرة بالطلبات، مما يسبب اضطرابات في الخدمة، والثغرات التي تنشأ من مكونات الطرف الثالث داخل سلسلة توريد البرمجيات.
الحذر من الاعتماد المفرط
يؤكد الخبراء على مخاطر الاعتماد فقط على النماذج اللغوية الكبيرة للحصول على المعلومات، حيث يمكن أن يؤدي ذلك إلى انتشار المعلومات الخاطئة والخرق الأمني. على سبيل المثال، أثناء عملية تسمى "هلوسة الحزمة"، قد يطلب مطور من LLM اقتراح حزمة تعليمات برمجية معينة، وقد يتلقى توصية خيالية. بعد ذلك، يمكن للجهات الخبيثة إنشاء تعليمات برمجية ضارة لاستغلال تلك الهلوسة، مما يمنحهم الوصول إلى أنظمة الشركة.
"هذا الاستخدام الخاطئ يستغل الثقة التي يضعها المطورون في التوصيات المعتمدة على الذكاء الاصطناعي"، يحذر شولمان.
مراقبة تفاعلات النماذج اللغوية الكبيرة لأغراض الأمن
تكنولوجيا Lasso تعترض تفاعلات الموظفين مع النماذج اللغوية الكبيرة مثل Bard وChatGPT، بالإضافة إلى التكامل مع أدوات مثل Grammarly و IDE plugins. من خلال إنشاء طبقة رصد، تلتقط Lasso وتحلل البيانات المرسلة إلى ومن النماذج اللغوية الكبيرة، مستخدمة تقنيات اكتشاف التهديدات المتقدمة لتحديد الشذوذ.
يوصي شولمان المنظمات بتحديد الأدوات المستخدمة للنماذج اللغوية الكبيرة، ثم تحليل تطبيقاتها وأغراضها. "ستحفز هذه الإجراءات نقاشات حيوية حول الحماية اللازمة"، يصرح.
الميزات الرئيسية لشركة Lasso Security
- اكتشاف الذكاء الاصطناعي الخفي: تحديد الأدوات النشطة، والمستخدمين، والرؤى.
- مراقبة تدفق بيانات النماذج اللغوية الكبيرة: تتبع وتسجيل جميع نقل البيانات داخل وخارج المؤسسة.
- الاكتشاف والتنبيه الفوري: رؤى فورية حول التهديدات المحتملة.
- الحجب والحماية: ضمان مطابقة جميع الموجهات والمخرجات المولدة مع السياسات الأمنية.
- لوحة معلومات سهلة الاستخدام: تسهيل مراقبة وإدارة تفاعلات النماذج اللغوية الكبيرة.
استغلال التكنولوجيا بأمان
تميز Lasso نفسها من خلال تقديم مجموعة شاملة تركز بشكل خاص على أمان النماذج اللغوية الكبيرة بدلاً من ميزة واحدة فقط. يشير شولمان إلى أن "فرق الأمان تحصل على السيطرة على كل تفاعل للنماذج اللغوية الكبيرة، مما يمكنها من إنشاء وتطبيق سياسات مخصصة."
يجب على المؤسسات احتضان تقنيات النماذج اللغوية الكبيرة بأمان، حيث إن الحظر التام غير مستدام. "بدون استراتيجية إدارة للمخاطر مخصصة، ستكون المؤسسات التي تفشل في اعتماد الذكاء الاصطناعي التوليدي في وضع غير مواتٍ"، يوضح شولمان. في النهاية، تسعى Lasso لتوفير الأدوات الأمنية اللازمة للمؤسسات للاستفادة من التكنولوجيا المتطورة دون المساس بموقفها الأمني.
قائمة الترتيب
