دراسة من ستانفورد تكشف أن أدوات البحث القانوني المعتمدة على الذكاء الاصطناعي غالبًا ما تنتج معلومات مضللة

تحديات الذكاء الاصطناعي في البحث القانوني: دراسة حول الهلوسات في أدوات الذكاء الاصطناعي القانونية

تزداد استخدامات نماذج اللغة الكبيرة (LLMs) في المهام التي تتطلب معالجة واسعة للمعلومات، حيث تطور عدد من الشركات أدوات متخصصة تعتمد على نماذج LLMs وأنظمة استرجاع المعلومات لأغراض البحث القانوني. ومع ذلك، تكشف دراسة حديثة أجراها باحثون من جامعة ستانفورد أن هذه الأدوات، على الرغم من ادعاءات الشركات المصنعة، لا تزال تظهر معدلًا كبيرًا من "الهلاوس" - المخرجات التي تحتوي على معلومات غير صحيحة.

نظرة عامة على الدراسة

تعد هذه الدراسة رائدة في كونها "التقييم التجريبي الأول المسجل مسبقًا لأدوات البحث القانونية المدفوعة بالذكاء الاصطناعي"، حيث تقارن بين العروض المقدمة من مزودي البحث القانوني الرئيسيين وأداة GPT-4 من OpenAI عبر أكثر من 200 استفسار قانوني مصاغ بعناية. ورغم انخفاض معدل الهلاوس مقارنةً بالدردشات العامة، إلا أن أدوات الذكاء الاصطناعي القانونية لا تزال تعرض هلاوس في 17-33% من الحالات، مما يدل على انتشار مزعج.

فهم توليد الاسترجاع المعزز في السياقات القانونية

تستخدم العديد من أدوات الذكاء الاصطناعي القانونية تقنيات التوليد المعزز بالاسترجاع (RAG) لتقليص الهلاوس. على عكس نماذج LLMs القياسية، تقوم أنظمة RAG باسترجاع المستندات ذات الصلة من قاعدة المعرفة وتطويرها في استجابات النموذج. ورغم أن RAG يُعتبر معيارًا ذهبيًا لتقليل الهلاوس في مجالات متعددة، إلا أن الاستفسارات القانونية غالبًا ما تفتقر إلى إجابات واضحة، مما يعقد عمليات استرجاع المعلومات.

يشير الباحثون إلى أن تحديد ما يجب استرجاعه قد يكون مشكلة، خاصة بالنسبة للاستفسارات الجديدة أو الغامضة قانونيًا. يعرفون الهلاوس على أنها استجابات غير صحيحة أو غير مترابطة، سواء كانت غير دقيقة من الناحية الواقعية أو غير ذات صلة سياقياً. علاوة على ذلك، تتجاوز أهمية ملاءمة المستندات القانونية مجرد التشابه النصي، مما يعني أن استرجاع مستندات تبدو متشابهة ولكنها غير ذات صلة قد يؤثر على فعالية النظام.

تقييم أدوات الذكاء الاصطناعي في البحث القانوني

صمم الباحثون مجموعة متنوعة من الاستفسارات القانونية تعكس سيناريوهات البحث في العالم الحقيقي، واختبروا ثلاث أدوات بارزة مدعومة بالذكاء الاصطناعي: Lexis+ AI من LexisNexis، Westlaw AI-Assisted Research، وAsk Practical Law AI من Thomson Reuters. رغم أن هذه الأدوات تستخدم RAG، إلا أن الدراسة وجدت أن أدائها ليس خاليًا من العيوب، حيث لا تزال تظهر عددًا كبيرًا من الهلاوس.

سلطت الدراسة الضوء على الصعوبات التي تواجهها هذه الأنظمة في المهام الأساسية لفهم القانون، مما يثير مخاوف بشأن الطبيعة المغلقة لأدوات الذكاء الاصطناعي القانونية التي تحد من الشفافية للمحترفين في المجال القانوني.

التقدم والقيود في الذكاء الاصطناعي في البحث القانوني

على الرغم من قيودها، فإن البحث القانوني المدعوم بالذكاء الاصطناعي يقدم قيمة مقارنةً بأساليب البحث التقليدية القائمة على الكلمات الرئيسية، خاصة عند استخدامها كنقطة انطلاق بدلاً من السلطة النهائية. وفقًا للمؤلف المشارك دانيال إي. هو، فإن RAG يقلل من الهلاوس القانونية مقارنةً بالذكاء الاصطناعي العام، ومع ذلك يمكن أن تحدث أخطاء من استرجاع مستندات غير مناسبة، مما يبرز تعقيد الاسترجاع القانوني.

أهمية الشفافية

شدد هو على الحاجة الملحة للشفافية والمعيارية في الذكاء الاصطناعي القانوني. على عكس الأبحاث العامة في الذكاء الاصطناعي، حافظت صناعة التكنولوجيا القانونية على نهج مغلق، مما يقدم القليل من المعلومات التقنية أو أدلة الأداء. هذه النقص من الشفافية يُشكل مخاطر على المحامين الذين يعتمدون على هذه الأدوات.

ردًا على الدراسة، أكد مايك داهن، رئيس إدارة منتجات Westlaw، التزام الشركة بالتجريب الشامل وتعقيد الأسئلة القانونية، مقترحًا أن نتائج البحث قد تعكس أسئلة نادرًا ما تواجه في الأبحاث المدعومة بالذكاء الاصطناعي. من ناحية أخرى، اعترفت LexisNexis بأنه لا يمكن لأي أداة ذكاء اصطناعي ضمان الكمال، وتركز على تعزيز حكم المحامين بدلاً من استبداله. أشار جيف بايفر، رئيس قسم المنتجات في LexisNexis، إلى أن المعايير التي استخدمها الباحثون قد لا تعكس بدقة معدلات الهلاوس، مشيرًا إلى تحسناتهم المستمرة.

نحو المستقبل، تتناقش LexisNexis وجامعة ستانفورد لتأسيس معايير وأطر لتقارير الأداء في تطبيق الذكاء الاصطناعي على البحث القانوني، بهدف تحسين الخدمات المقدمة للمحترفين القانونيين وتقليل حدوث الهلاوس.

في الختام، بينما يظهر الذكاء الاصطناعي في البحث القانوني وعدًا، تبقى تحديات الهلاوس والحاجة إلى الشفافية قضايا حيوية تحتاج الصناعة إلى معالجتها.