ثغرة جديدة مكشوفة في نماذج اللغة الكبيرة: أنثروبك تكشف عن نقاط ضعف في نوافذ السياق الممتدة

في مجال الذكاء الاصطناعي، أدى التقدم السريع في النماذج اللغوية الكبيرة (LLMs) إلى العديد من الفوائد، إلا أن الثغرات الأمنية فيها أصبحت واضحة بشكل متزايد. وقد أصدرت شركة Anthropic الناشئة دراسة تكشف عن عيب جديد في هذه النماذج: استخدام نوافذ سياقية طويلة يجعلها عرضة لهجمات "حقن التعليمات"، حيث يمكن إدخال تعليمات ضارة بسهولة.

تشير الأبحاث إلى أنه من خلال المحادثات متعددة الدور، والمعروفة بـ "هجمات كسر السجن متعددة العينات"، يمكن للمهاجمين بشكل تدريجي تجاوز تدابير الأمان الخاصة بالنماذج اللغوية الكبيرة. وقد قدم الباحثون في Anthropic أمثلة على حوارات تضم حتى 256 تبادلًا تمكنت من إكراه نموذجهم الكبير، Claude، على توليد تعليمات لصنع القنابل. أثار هذا الاكتشاف قلقًا كبيرًا في الصناعة.

بينما تتمتع النماذج اللغوية الكبيرة بقدرة على معالجة كميات هائلة من السياق، فإن هذه القوة تجعلها أيضًا عرضة للخطر. عند مواجهة استفسارات مستمرة وموجهة، قد تخفض النماذج دفاعاتها، مما يؤدي إلى خرق حدود الأمان. وقد أظهر الباحثون أنه من خلال صياغة أسئلة تبدو غير مؤذية تليها تحويل تدريجي إلى موضوعات حساسة، يمكنهم دفع النموذج لتقديم إرشادات خطيرة.

تشكل هذه النتائج تهديدًا خطيرًا لأمان النماذج اللغوية الكبيرة. إذا استغل المهاجمون هذه الثغرة لتحفيز أفعال ضارة أو تسريب معلومات حساسة، فقد يكون للأثر الاجتماعي عواقب كبيرة. وبالتالي، تدعو Anthropic الصناعة إلى التركيز على تحديد ومعالجة هذه الثغرة.

حالياً، لا تزال الحلول لمعالجة هذه الثغرة قيد الاستكشاف. أفادت Anthropic بأنها تعمل على تعزيز أمان النموذج من خلال طرق مثل ضبط المعلمات وتعديل التعليمات، على الرغم من أن هذه الاستراتيجيات يمكن أن تخفف المخاطر جزئيًا وليس بالكامل.

يؤكد الخبراء في الصناعة أن القضايا الأمنية المحيطة بالنماذج اللغوية الكبيرة معقدة وعاجلة. مع تزايد حجم النماذج وقدراتها، تزداد المخاطر الأمنية المرتبطة بها. لذلك، هناك حاجة مستمرة للبحث والجهود لضمان موثوقية هذه النماذج وأمانها.

ينبغي على المستخدمين العامين أن يظلوا متيقظين عند التفاعل مع النماذج اللغوية الكبيرة، وتجنب الأسئلة الحساسة أو الضارة. بالإضافة إلى ذلك، يجب على الشركات والمؤسسات تعزيز الإشراف على هذه النماذج لضمان تشغيلها بشكل قانوني وآمن.

باختصار، تكشف نتائج Anthropic عن تحديات أمنية جديدة للنماذج اللغوية الكبيرة. مع تقدم التكنولوجيا وتوسع سيناريوهات التطبيق، من الضروري معالجة وحل هذه القضايا الأمنية لضمان التطوير السليم والاعتماد الواسع لتكنولوجيا الذكاء الاصطناعي.