تستخدم Sakana AI خوارزمية تطويرية للكشف عن هياكل مبتكرة لنماذج التوليد.

تقنية رائدة طورتها شركة ساكنا AI الناشئة في طوكيو، تُعرف باسم دمج النماذج التطورية، والتي تعزز من إنشاء نماذج توليدية بشكل آلي. مستلهمة من مفهوم الانتقاء الطبيعي، تجمع هذه المقاربة عناصر من نماذج قائمة لإنتاج نسخ متقدمة.

تأسست ساكنا AI في أغسطس 2023 على يد باحثي الذكاء الاصطناعي المعروفين، مثل ديفيد ها وليلون جونز—مؤلف بحث "الاهتمام هو كل ما تحتاجه" المؤثر—لتكون في طليعة الابتكار في مجال الذكاء الاصطناعي التوليدي.

ثورة في تطوير النماذج

يتيح دمج النماذج التطورية من ساكنا للمطورين والمؤسسات إنشاء واستكشاف نماذج جديدة بطريقة فعالة من حيث التكلفة، مما يلغي الحاجة لتدريب نماذج باهظة الثمن أو ضبطها.

قدمت الشركة مؤخرًا نماذج لغوية كبيرة (LLMs) ونماذج رؤية واللغة (VLMs) تم تطويرها باستخدام هذه التقنية المبتكرة.

فهم دمج النماذج

تدريب النماذج التوليدية غالباً ما يكون مكلفًا ومعقدًا. ومع ظهور نماذج مفتوحة مثل Llama 2 وMistral، يستغل المطورون تقنية دمج النماذج—دمج عناصر من نموذجين أو أكثر مدربين مسبقًا لتشكيل نموذج جديد. هذه الطريقة تتيح للنموذج الناتج الاستفادة من نقاط القوة في النماذج السابقة دون الحاجة لتدريب إضافي، مما يجعلها خيارًا اقتصاديًا للغاية. العديد من النماذج الرائدة على قوائم Open LLM هي في الواقع نماذج مدمجة من نماذج أساسية شائعة.

يُلاحظ الباحثون في ساكنا AI، "تقوم مجتمع نابض من الباحثين والمخترقين والفنانين بتطوير نماذج أساسية جديدة من خلال ضبط ودمج النماذج الموجودة." مع وجود أكثر من 500,000 نموذج متاح على Hugging Face، يوفر دمج النماذج فرص واسعة لإنشاء حلول مبتكرة بتكاليف منخفضة، على الرغم من أنه يتطلب حاسة قوية ومعرفة عميقة في المجال.

تقديم دمج النماذج التطورية

تهدف ساكنا AI إلى تحسين عملية دمج النماذج باستخدام مقاربة منهجية. مستلهمة من الخوارزميات التطورية—تقنيات التحسين التي تحاكي الانتقاء الطبيعي—تحدد دمج النماذج التطورية الطرق الأكثر فعالية لدمج نماذج مختلفة.

يشدد ديفيد ها، "إن القدرة على تطوير نماذج جديدة من نماذج متنوعة موجودة لها تأثيرات حاسمة." في ظل تزايد متطلبات الموارد لتدريب النماذج الأساسية، قد تكون هذه المقاربة التطورية مفيدة للمؤسسات أو الحكومات التي تبحث عن تطوير نماذج أولية بسرعة دون استثمار كبير.

يعمل دمج النماذج التطورية بشكل تلقائي، حيث يقيم طبقات ووزن النماذج الحالية لإنشاء هياكل جديدة مصممة وفقًا لاحتياجات المستخدم.

إظهار الدمج التطوري

لاستكشاف إمكانيات هذه المقاربة، طبق باحثو ساكنا AI دمج النماذج التطورية لإنشاء نموذج لغة يابانية قادر على التفكير الرياضي ونموذج رؤية ولغة ياباني. وقد تفوقت النماذج الناتجة على العديد من المعايير دون الحاجة إلى تحسين صريح. على سبيل المثال، تفوق نموذج EvoLLM-JP الياباني، الذي يحتوي على 7 مليارات معلمة، على بعض المنافسين الذين يحتوي بعضهم على 70 مليار معلمة.

أما بالنسبة لنموذج الرؤية واللغة الياباني، فقد دمج الفريق بين LLaVa-1.6-Mistral-7B وShisa-Gamma 7B، مما أدى إلى إنتاج EvoVLM-JP، الذي تفوق على كل من LLaVa-1.6-Mistral-7B وJSVLM السابق. كلا النماذج متاحة على Hugging Face وGitHub.

تعمل ساكنا AI أيضًا على تكييف طرق الدمج التطورية لنماذج توليد الصور، بهدف تعزيز أداء Stable Diffusion XL لاستجابة باللغة اليابانية.

رؤية ساكنا AI

تسعى ساكنا AI، التي أسسها ديفيد ها وليلون جونز، لاستغلال مفاهيم مستوحاة من الطبيعة مثل التطور والذكاء الجماعي لإنشاء نماذج ذكاء اصطناعي أساسية. تؤمن الفريق بأن مستقبل الذكاء الاصطناعي لن يدور حول نظام شامل واحد، بل سيكون عبارة عن شبكة من الأنظمة الذكية المتخصصة التي تتعاون وتتطور لتلبية احتياجات مختلفة.