كوهير تكشف عن Embed V3: تعزيز تطبيقات LLM الخاصة بالمؤسسات من أجل كفاءة وأداء محسّنين

أطلقت شركة Cohere الناشئة في مجال الذكاء الاصطناعي في تورونتو النسخة الأحدث من نموذج التضمين لديها، Embed V3، الذي تم تحسينه للبحث الدلالي وتطبيقات نماذج اللغة الكبيرة (LLM).

تحول نماذج التضمين البيانات إلى تمثيلات عددية تعرف باسم "التضمينات"، والتي أصبحت شائعة مع تزايد استخدام نماذج LLM في تطبيقات المؤسسات. ينافس Embed V3 نماذج OpenAI مثل Ada وغيرها من النماذج مفتوحة المصدر، مستهدفًا أداءً متفوقًا وتحسين ضغط البيانات. تم تصميم هذه التحسينات لتقليل التكاليف التشغيلية لتطبيقات LLM في المؤسسات.

دور التضمين في RAG

تكون التضمينات ضرورية لمهام متعددة، بما في ذلك "التوليد المدعوم بالاسترجاع" (RAG)، وهو تطبيق حرج لـ LLM في مجال المؤسسات. يتيح RAG للمطورين تقديم سياق لنماذج LLM من خلال استرجاع المعلومات من مصادر مثل كتيبات المستخدم، سجلات الدردشة، المقالات، أو الوثائق التي لم تكن جزءًا من مجموعة التدريب الأصلية.

لاستخدام RAG، تقوم الشركات بإنشاء تضمينات لمستنداتها وتخزينها في قاعدة بيانات متجهة. عند استفسار المستخدم عن النموذج، يحسب النظام الذكي تضمين الاستفسار ويقارنه مع التضمينات المخزنة، مسترجعًا المستندات الأكثر صلة لتعزيز سياق الاستفسار.

التغلب على تحديات الذكاء الاصطناعي في المؤسسات

يعالج RAG بعض القيود الموجودة في نماذج LLM، مثل نقص المعلومات في الوقت الحقيقي والميول لإنتاج محتوى غير دقيق، والذي يُطلق عليه غالبًا "الهلاوس". ومع ذلك، لا يزال العثور على المستندات الأكثر صلة باستفسارات المستخدم يمثل تحديًا.

واجهت نماذج التضمين السابقة صعوبات مع مجموعات بيانات صاخبة، حيث يمكن أن ترتفع تصنيفات المستندات غير ذات الصلة بسبب مطابقة الكلمات الرئيسية الأساسية. على سبيل المثال، إذا بحث مستخدم عن "أعراض COVID-19"، فإن النماذج القديمة قد تعطي أولوية لمستند يذكر المصطلح بشكل غامض، بدلاً من مستند يصف الأعراض المحددة.

يتفوق Embed V3 من Cohere في مطابقة المستندات مع الاستفسارات من خلال تقديم سياق دلالي دقيق. في مثال "أعراض COVID-19"، سيعطي Embed V3 أولوية لمستند يصف أعراضًا محددة مثل "ارتفاع الحرارة" أو "سعال مستمر" أو "فقدان حاستي الشم أو التذوق" على بيان عام حول COVID-19.

تدعي Cohere أن Embed V3 يتفوق على نماذج أخرى، بما في ذلك ada-002 من OpenAI، وفقًا لمعايير الأداء القياسية للتضمين. يتوفر Embed V3 بأحجام متعددة، ويتضمن أيضًا نسخة متعددة اللغات تتناسب مع الاستفسارات في مستندات بلغات مختلفة، مما يسهل استرجاع مستندات ذات صلة بالاستفسارات الإنجليزية.

تعزيز RAG بميزات متقدمة

يظهر Embed V3 أداءً استثنائيًا في حالات الاستخدام المعقدة، بما في ذلك استفسارات RAG متعددة الخطوات. عندما يتضمن استفسار المستخدم عدة استفسارات، يحدد النموذج بفعالية المستندات ذات الصلة لكل منها، مما يسهل العملية.

تقلل هذه الكفاءة من الحاجة إلى استفسارات متعددة إلى قاعدة البيانات المتجهة. بالإضافة إلى ذلك، يعزز Embed V3 إعادة تصنيف النتائج—a ميزة دمجتها Cohere في واجهة برمجة التطبيقات الخاصة بها—لأفضل تنظيم لنتائج البحث وفقًا للصلة الدلالية.

وأوضح متحدث باسم Cohere: "تكون إعادة التصنيف فعالة بشكل خاص للاستفسارات المعقدة والمستندات، حيث يمكن للنماذج التقليدية أن تواجه صعوبة في تلك السيناريوهات. ومع ذلك، لكي تكون إعادة التصنيف فعالة، يجب أن تمثل مجموعة المستندات الأولية المعلومات الأكثر صلة بدقة. يضمن نموذج متفوق مثل Embed V3 عدم تجاهل أي مستندات ذات صلة."

علاوة على ذلك، يمكن أن يقلل Embed V3 بشكل كبير من التكاليف المرتبطة بتشغيل قواعد البيانات المتجهة. شمل عملية تدريب النموذج ثلاث خطوات تتضمن طريقة تدريب متخصصة تدرك الضغط. كما أشار متحدث باسم الشركة، “يمكن أن تكون نفقات صيانة قاعدة بيانات متجهة أعلى بـ 10 إلى 100 مرة من حساب التضمينات. يسمح تدريبنا المعتمد على الضغط بضغط فعال للمتجهات.”

وفقًا لمدونة Cohere، تعمل هذه المرحلة من الضغط على تحسين النماذج لتكون متوافقة مع طرق ضغط مختلفة، مما يقلل بشكل كبير من تكاليف قاعدة البيانات المتجهة مع الحفاظ على جودة بحث تصل إلى 99.99%.