على مدار العقد الماضي، شهدت أدوات البيانات والبنية التحتية تحولات دراماتيكية. منذ أن أسست شركة مختصة في بنية تحتية للبيانات السحابية في عام 2009 ومجتمع لقاءات للمهندسين البيانات في عام 2013، كنت شاهداً على تطور هذه المجتمع قبل أن تصبح "مهندس بيانات" لقباً وظيفياً رسمياً. يتيح لي هذا المنظور الفريد التأمل في الدروس المستفادة من الماضي وكيف ينبغي أن تؤثر على تطوير عصر الذكاء الاصطناعي الجديد.
في مجال الأنثروبولوجيا التكنولوجية، يمثل عام 2013 انتقالاً من عصر "البيانات الضخمة" إلى عصر "مجموعة البيانات الحديثة" (MDS). خلال فترة البيانات الضخمة، كانت الاعتقادات السائدة تشير إلى أن المزيد من البيانات تعني رؤى أفضل، بحيث كانت تسمح بفتح قفل قيم تجارية جديدة.
بصفتي مستشاراً استراتيجياً لدى شركة إنترنت كبرى، طُلب مني وضع استراتيجية لتحليل كميات هائلة من البيانات الناتجة عن مليارات الاستفسارات اليومية لنظام أسماء النطاقات (DNS) لكشف عن رؤى محتملة بقيمة 100 مليون دولار. للأسف، رغم جهودنا، لم نتمكن من تحديد أي من تلك الرؤى ضمن الجدول الزمني المحدود للمشروع. عززت هذه التجربة درساً حاسماً: بينما يعد تخزين كميات هائلة من البيانات أمراً سهلاً نسبياً، فإن استخراج رؤى ذات معنى هو جهد معقد ومكلف.
إدراكًا لهذا التحدي، rushed الشركات لتعزيز بنيتها التحتية للبيانات، مدفوعةً بشعار أن الرؤى لا يمكن توليدها إلا إذا تم تحسين أنظمة بياناتها. أدى هذا الانفجار إلى ظهور عدد هائل من أدوات البيانات، حيث ادعى البائعون أنهم يقدمون القطعة المفقودة في مجموعة البيانات الكاملة التي يمكن أن تحقق تلك الرؤى elusive.
ليس من قبيل المصادفة استخدام مصطلح "انفجار"؛ وفقًا لتقرير Matt Turck لعام 2024 عن مشهد MAD (التعلم الآلي، الذكاء الاصطناعي، والبيانات)، ارتفع عدد الشركات التي تقدم أدوات بنية أساسية للبيانات من 139 في عام 2012 إلى 2011 في العام الحالي – وهو زيادة مذهلة بنسبة 14.5x.
تحدي فائض الأدوات
تشكل عدة عوامل المشهد الحالي للبيانات. انتقلت العديد من الشركات إلى سحابة البيانات، حيث قدمت شركات مجموعة البيانات الحديثة خدمات مدارة مصممة للموثوقية والمرونة والحلول القابلة للتوسع.
ومع ذلك، ظهرت تحديات كبيرة مع توسع الشركات في مجموعة أدواتها خلال فترة سياسة سعر الفائدة الصفري (ZIRP). أدت صعوبة استخدام أدوات متعددة ومتباينة، وصعوبات التكامل، والخدمات السحابية غير المستخدمة بشكل كافٍ، إلى إثارة الشكوك حول ما إذا كانت MDS يمكن أن تفي بوعودها.
استثمرت العديد من شركات فورتشن 500 بشكل كبير في بنية البيانات دون وجود استراتيجية متماسكة لتحقيق قيمة من تلك البيانات. أسفر الانجذاب لجمع مجموعة واسعة من الأدوات عن تكرار، حيث استغل الفرق ضمن نفس المنظمة منصات متداخلة، مثل Tableau وLooker، مما أدى إلى زيادة التكاليف دون فوائد متناسبة.
على الرغم من انفجار فقاعية ZIRP في النهاية، إلا أن مشهد MAD لا يزال يتوسع. لماذا؟
مجموعة الذكاء الاصطناعي الجديدة
لا تزال العديد من شركات أدوات البيانات، التي كانت تتمتع بتمويل جيد خلال فترة ZIRP، نشطة على الرغم من تضييق ميزانيات الشركات وانخفاض الطلب في السوق. أحد العوامل الرئيسية هو الاهتمام القوي بالذكاء الاصطناعي، الذي أفرز موجة جديدة من أدوات البيانات دون حدوث توحيد سوقي كبير من العصر السابق.
تمثل "مجموعة الذكاء الاصطناعي" نموذجاً جديداً أساسياً. بينما كانت مجموعات البيانات التقليدية مصممة للبيانات المهيكلة، فإن الموجة الجديدة من الذكاء الاصطناعي تزدهر على كميات ضخمة من البيانات غير المهيكلة – نصوص وصور ومقاطع فيديو. بالإضافة إلى ذلك، تتمايز نماذج الذكاء الاصطناعي التوليدية عن نماذج التعلم الآلي القديمة من خلال إنتاج نتائج متنوعة حتى من المدخلات غير المتغيرة، كما يتضح مع أدوات مثل ChatGPT.
نظرًا لهذه الاختلافات، يجب على المطورين اعتماد منهجيات جديدة لتقييم ومراقبة مخرجات نماذج الذكاء الاصطناعي، مما يضمن الحوكمة الأخلاقية والتكامل الفعال. يجب أن تشمل المجالات الرئيسية التركيز على تنسيق الوكلاء (التواصل بين النماذج)، وتطوير نماذج متخصصة لحالات الاستخدام النادرة، وأدوات مبتكرة لتنسيق مجموعات البيانات.
تعمل العديد من الشركات الناشئة بالفعل على معالجة هذه التحديات، مما أدى إلى ظهور أدوات متقدمة ضمن مجموعة الذكاء الاصطناعي الجديدة.
بناء الذكاء بشكل أفضل في عصر الذكاء الاصطناعي الجديد
بينما نتنقل عبر هذا العصر الجديد للذكاء الاصطناعي، من الضروري الاعتراف بماضينا. تُعتبر البيانات أساس الذكاء الاصطناعي، وقد paved مجموعة الأدوات المتاحة اليوم الطريق للتعامل مع البيانات كأصل حيوي. ومع ذلك، يجب أن نسأل أنفسنا كيف نتجنب مشاكل الإفراط السابقة في تقدمنا.
تتمثل إحدى الطرق في توضيح الشركات للقيمة المحددة التي تتوقعها من أي أداة بيانات أو ذكاء اصطناعي معينة. إن الالتزام المفرط باتجاهات التكنولوجيا دون غرض استراتيجي قد يكون ضارًا، خاصة مع انشغال الذكاء الاصطناعي بكل من الانتباه والميزانيات. من الضروري إعطاء الأولوية للأدوات التي تظهر قيمة واضحة وعائد استثمار يمكن قياسه.
يجب على المؤسسين أيضًا توخي الحذر بشأن إنشاء حلول "أنا أيضاً". قبل السعي وراء أداة جديدة في سوق مزدحم، يجب عليهم تقييم ما إذا كانت فرقهم تمتلك رؤى فريدة وخبرة متميزة ستضيف قيمة حقيقية.
يحتاج المستثمرون أيضًا إلى تقييم مكان تجميع القيمة عبر مجموعة أدوات البيانات والذكاء الاصطناعي قبل الاستثمار. الاعتماد فقط على سيرة مؤسس من شركات مرموقة يمكن أن يؤدي إلى سوق مشبع مليء بمنتجات غير متميزة.
تم طرح سؤال مثير في مؤتمر حديث: "ما هو تكلفة عملك إذا كانت صف واحد فقط من بياناتك غير دقيقة؟" يحث هذا الشركات على إنشاء إطار عمل واضح لتحديد قيمة البيانات وأدوات البيانات داخل عملياتها.
بدون هذه الوضوح، لن تحل أي كمية من الاستثمار في أدوات البيانات والذكاء الاصطناعي الارتباك القائم.
قائمة الترتيب
