فريق أبحاث Apple يكشف عن نظام ذكاء اصطناعي بقدرة 'الرؤية' لفهم محتوى الشاشة

طوّر باحثون من آبل نظام ذكاء اصطناعي رائد يُدعى ReALM (تحليل الإشارات كتنميط لغوي) والذي يُحسّن كيفية فهم المساعدات الرقمية للإشارات الغامضة وسياق الحوار، مما يُنتج تفاعلات أكثر طبيعية. تم الإعلان عن هذا التقدم الابتكاري مؤخرًا.

يستفيد ReALM من نماذج اللغة الكبيرة لتحويل مهام تحليل الإشارات المعقدة—مثل فهم العناصر المرئية على الشاشة—إلى تحديات تنميط لغوي. وتفوق هذا النهج بشكل كبير على الطرق التقليدية، كما أشار فريق البحث في آبل، حيث قالوا: “فهم السياق والإشارات أمر بالغ الأهمية للمساعدات الحوارية. تمكين المستخدمين من استفسار محتوى الشاشة خطوة رئيسية نحو تحقيق تجربة خالية من اليدين حقًا."

من أبرز إنجازات ReALM في تحليل الإشارات هو قدرته على إعادة تموضع الكيانات المعروضة على الشاشة باستخدام تقنية تحليل الموقع، مما يخلق تمثيلاً نصيًا يحتفظ بالتنسيق البصري. أظهرت الاختبارات أن هذه الطريقة، عند دمجها مع نماذج اللغة المعدلة خصيصًا لتحليل الإشارات، تفوقت على أداء GPT-4. وعلق الباحثون قائلين: "نظامنا حسّن الأداء بشكل كبير عبر أنواع مختلفة من الإشارات، حيث حققنا زيادة absolute أكثر من 5% في المهام المتعلقة بالإشارات على الشاشة مع النموذج الأصغر، بينما تفوق النموذج الأكبر بشكل كبير على GPT-4."

تُبرز هذه الدراسة إمكانيات نماذج اللغة المتخصصة في معالجة مهام تحليل الإشارات. في السيناريوهات العملية، قد يصعب تطبيق نماذج ضخمة من النهاية إلى النهاية بسبب التأخير أو قيود الحوسبة. تُظهر النتائج التزام آبل المستمر بتعزيز القدرات الحوارية والفهم السياقي لـ Siri ومنتجات أخرى.

ومع ذلك، حذر الباحثون من أن تحليل الشاشة التلقائي له حدوده. قد يتطلب التصدي للإشارات المرئية الأكثر تعقيدًا—مثل التمييز بين عدة صور—دمج تقنيات الرؤية الحاسوبية والتقنيات متعددة الوسائط.

حققت آبل خطوات بارزة في مجال الذكاء الاصطناعي، رغم أنها لا تزال متأخرة عن المنافسين في هذا السوق المتطور بسرعة. مختبرات أبحاث الشركة تبتكر باستمرار في نماذج متعددة الوسائط، وأدوات مدفوعة بالذكاء الاصطناعي، وتقنيات ذكاء اصطناعي متخصصة وعالية الأداء، مما يعكس طموحها في قطاع الذكاء الاصطناعي.

تتزايد التوقعات للمؤتمر العالمي للمطورين المقرر في يونيو، حيث من المتوقع أن تكشف آبل عن أطر جديدة لنماذج اللغة الكبيرة، ودردشة "Apple GPT"، وميزات ذكاء اصطناعي أخرى ضمن نظامها البيئي، سعيًا للتكيّف سريعًا مع تحولات السوق.