أدى ظهور نماذج اللغة الكبيرة (LLMs) إلى زيادة الاهتمام بنماذج التضمين، وهي أنظمة تعلم عميق تحول أنواع البيانات المختلفة إلى تمثيلات عددية. تُعد نماذج التضمين ضرورية للتوليد المعزز بالاسترجاع (RAG)، وهو تطبيق رئيسي لنماذج LLMs في البيئات المؤسسية. ومع ذلك، فإن إمكانياتها تمتد إلى ما هو أبعد من RAG. شهد العام الماضي تقدمًا ملحوظًا في تطبيقات التضمين، ومن المتوقع أن يجلب عام 2024 المزيد من الابتكارات.
كيف تعمل التضمينات
تحول التضمينات البيانات، مثل الصور أو مستندات النص، إلى قوائم من الأرقام التي تمثل ميزاتها الأكثر أهمية. تتعلم نماذج التضمين، التي تم تدريبها على مجموعات بيانات واسعة، كيفية التمييز بين أنواع البيانات المختلفة. في رؤية الكمبيوتر، يمكن أن تبرز التضمينات ميزات مثل الأشياء والأشكال والألوان. في تطبيقات النصوص، تلتقط المعلومات الدلالية المتعلقة بالمفاهيم والمواقع والأشخاص والتنظيمات وغيرها.
في تطبيقات RAG، تقوم نماذج التضمين بترميز ميزات مستندات الشركة، حيث تُخزن كل تضمينة لمستند في قاعدة بيانات متخصصة مقارنةً بالتضمينات. عند تقديم طلب جديد، يقوم النظام بحساب تضمين الطلب ويسترجع المستندات ذات القيم المشابهة. يتم دمج محتوى المستند ذو الصلة في الطلب، مما يوجه نموذج LLM لتوليد استجابات مستندة إلى السياق.
تعمل هذه العملية المبسطة على تخصيص نماذج LLMs لتقديم رؤى قائمة على المعلومات الحصرية غير الموجودة في بيانات التدريب الخاصة بهم، مما يعالج التحديات مثل الهلوسة، حيث تنتج نماذج LLMs حقائق غير دقيقة بسبب نقص المعلومات.
ما وراء RAG الأساسي
بينما زاد RAG بشكل كبير من وظائف نماذج LLM، فإن فوائد الاسترجاع والتضمين تمتد إلى ما هو أبعد من مجرد مطابقة المستندات.
يقول جيري ليو، CEO لشركة LlamaIndex: "تستخدم التضمينات بشكل أساسي للاسترجاع، وغالبًا ما تعزز التصورات المفاهيمية. ومع ذلك، فإن الاسترجاع أوسع بكثير ويمكن أن يدعم تطبيقات مؤسسية متنوعة". وفقًا لليو، يعد الاسترجاع عنصرًا أساسيًا في أي استخدام لنماذج LLM. تقوم شركة LlamaIndex بتطوير أدوات وأطر لربط طلبات LLM بمسؤوليات متنوعة، مثل الواجهة مع قواعد بيانات SQL وأتمتة تدفقات العمل.
ويضيف: "الاسترجاع أمر بالغ الأهمية لإثراء نماذج LLM بالسياق المناسب، وأتوقع أن تتطلب معظم التطبيقات المؤسسية شكلًا من أشكال الاسترجاع."
تجد التضمينات أيضًا فائدة في التطبيقات التي تتجاوز استرجاع المستندات. طور الباحثون في جامعة إلينوي وجامعة تسينغhua تقنيات تستخدم التضمينات لاختيار أكثر المجموعات المتعلقة تنوعًا من بيانات التدريب لتشفير نماذج LLM، مما يقلل من تكاليف التدريب بشكل كبير مع الحفاظ على الجودة العالية.
التضمينات في التطبيقات المؤسسية
يقول أندريه زايارني، CEO لشركة Qdrant: "تتيح التضمينات العددية العمل مع أي بيانات غير منظمة أو شبه منظمة. البحث الدلالي - وRAG هو شكل من أشكال البحث الدلالي - هو مجرد تطبيق واحد". ويضيف: "توسيع نطاق البيانات لتشمل الصور والصوت والفيديو يعد أمرًا حيويًا، وستساعد المحولات متعددة الأنماط على تسهيل ذلك." شركة Qdrant تقوم بالفعل بتنفيذ نماذج التضمين عبر تطبيقات مختلفة، بما في ذلك اكتشاف الشذوذ، وأنظمة التوصيات، وتحليل السلاسل الزمنية.
يشير زايارني إلى أن "عدد التطبيقات المتوقع أن يرتفع مع ظهور نماذج تضمين جديدة، نظرًا لوجود العديد من الاستخدامات التي لم يتم استغلالها بعد."
تستخدم المزيد من الشركات نماذج التضمين لتصفية كميات هائلة من البيانات غير المنظمة، مما يمكّنها من تصنيف ملاحظات العملاء ومنشورات وسائل التواصل الاجتماعي لتحديد الاتجاهات وتحولات المشاعر. يوضح نيلز ريمرز، قائد تضمينات في Cohere: "التضمينات مثالية للشركات التي تهدف إلى تحليل مجموعات بيانات ضخمة لاستخلاص الاتجاهات والرؤى."
تحسين التضمينات
في عام 2023، تم إحراز تقدم في تحسين نماذج LLM باستخدام مجموعات بيانات مخصصة، ومع ذلك، تظل هذه العملية تحديًا. القليل من الشركات المجهزة بالبيانات والخبرة اللازمة تدير تحسين النماذج بشكل فعال.
يتوقع ليو: "من المحتمل أن يكون هناك تدفق من RAG إلى تحسين النماذج - باستخدام RAG للوصول، ثم تحسينه من خلال تحسين النماذج". يضيف: "مع توقع المزيد من الشركات لتحسين نماذج LLM والتضمينات الخاصة بها مع تحسين النماذج مفتوحة المصدر، من المحتمل أن يبقى العدد أقل من أولئك الذين يستخدمون RAG ما لم يصبح تحسين النماذج أسهل بكثير".
يقدم تحسين التضمينات تحدياته الخاصة، بما في ذلك الحساسية لتغيرات البيانات. قد يؤثر التدريب على استفسارات قصيرة سلبًا على الأداء على الاستفسارات الأطول، والعكس صحيح. إذا تم التدرب على أسئلة "ما" فقط، فقد تواجه التضمينات صعوبة في الإجابة على أسئلة "لماذا".
يُنصح ريمرز بأن "الشركات بحاجة إلى فرق تعلم آلي قوية داخلية لتدريب التضمينات بشكل فعال، مما يجعل الحلول الجاهزة أكثر عملية في العديد من الحالات."
ومع ذلك، أُحرز تقدم في تبسيط عملية تدريب نماذج التضمين. تشير دراسة من مايكروسوفت إلى أن النماذج المدربّة مسبقًا، مثل Mistral-7B، يمكن تحسينها لمهام التضمين باستخدام مجموعة بيانات مدمجة تم إنشاؤها بواسطة نموذج LLM قوي، مما يبسط الطرق التقليدية التي تتطلب موارد كثيفة.
نظرًا للتطورات السريعة في نماذج LLM ونماذج التضمين، نتوقع المزيد من التطورات المثيرة في الأشهر القادمة.
قائمة الترتيب
