Qdrant: السعي نحو حلول فعّالة من حيث التكلفة في قاعدة بيانات RAG المتجهة

تسعى المزيد من الشركات إلى دمج أنظمة توليد المعلومات المعززة بالاسترجاع (RAG) في تقنياتها، مما يؤدي إلى ظهور طرق مبتكرة لتحسين هذه العملية. تعتقد شركة Qdrant المتخصصة في قواعد البيانات الموجهة بالمتجهات أن خوارزمية البحث الجديدة BM42 لديها القدرة على تحسين كفاءة RAG وتقليل تكاليفه بشكل كبير. تأسست Qdrant في عام 2021، وتهدف إلى تعزيز قدرات البحث الهجينة من خلال دمج البحث الدلالي والبحث القائم على الكلمات الرئيسية عبر BM42. وقد أوضح أندري فاسنيتسوف، المؤسس المشارك ومدير التكنولوجيا في Qdrant، أن BM42 تُعتبر تحديثًا لخوارزمية BM25 المستخدمة على نطاق واسع، والتي تقوم بتصنيف موضوعات الوثائق في استعلامات البحث. غالبًا ما تستخدم الأنظمة التقليدية BM25، لكن RAG تعتمد على قواعد بيانات المتجهات التي تمثل البيانات كمقاييس رياضية، مما يسهل المطابقة بين البيانات.

وأضاف فاسنيتسوف: "تفترض خوارزميات المطابقة التقليدية مثل BM25 أن الوثائق بحجم كافٍ لتوليد إحصائيات. ومع ذلك، يعمل RAG مع قطع معلومات أصغر، مما يجعل BM25 غير كافٍ."

تستخدم BM42 نموذج لغة لاستخراج المعلومات ذات الصلة من الوثائق بدلاً من توليد التضمينات. تُقسّم هذه البيانات المستخرجة إلى رموز ثم تُقيّم، مما يمكّن Qdrant من تحديد المعلومات الضرورية بدقة للاستجابة لاستعلامات معينة. كما يقدم البحث الهجين خيارات متعددة من أجل التحسين.

لا تعد BM42 التحسين الوحيد الذي يسعى لتجاوز BM25 في تبسيط أبحاث الهجين وتطبيقات RAG. فهناك نموذج Splade، أو نموذج التوسع اللفظي النادر، كمنافس آخر. يستخدم نموذج لغة مدرب مسبقًا يمكنه التعرف على علاقات الكلمات، مع تضمين مصطلحات ذات صلة قد تختلف بين استعلام البحث والوثائق ذات الصلة. بينما تستخدم بعض شركات قواعد البيانات الموجهة بالمتجهات Splade، يؤكد فاسنيتسوف أن BM42 يوفر حلاً أكثر فعالية من حيث التكلفة. حيث أشار: "قد يكون Splade مكلفًا جدًا نظرًا لحجم ومتطلبات حوسبة هذه النماذج."

تظهر RAG بشكل سريع كنقطة محورية في الذكاء الاصطناعي المؤسسي، حيث تسعى المنظمات للاستفادة من نماذج الذكاء الاصطناعي التوليدية مع بياناتها الخاصة. من خلال استخدام RAG، يمكن للشركات توفير معلومات أكثر دقة وفي الوقت المناسب للموظفين والمستخدمين مستمدة من بيانات المنظمة. تقدم الشركات الكبرى مثل Microsoft وAmazon الآن بنى تحتية للحوسبة السحابية مصممة لبناء تطبيقات RAG. بالإضافة إلى ذلك، استحوذت OpenAI على Rockset في يونيو لتعزيز قدراتها في RAG.

بينما يسمح RAG للمستخدمين بربط نواتج نماذج الذكاء الاصطناعي ببيانات الشركات، فإنه من المهم الاعتراف بأنه لا يزال نموذج لغة قابل للاقتراح وقد يتعرض للأخطاء، والتي تُعرف غالبًا بـ "الهلوسات."