عالم الفلك يحسن Apache Airflow لأداة تنظيم البيانات في تطبيقات الذكاء الاصطناعي

تلعب تنسيق البيانات دورًا حيويًا في نقل البيانات بسلاسة بين الأنظمة المختلفة، وقد برزت أداة Apache Airflow كأداة رائدة في هذا المجال، التي تم تطويرها في الأصل بواسطة Airbnb.

مؤخراً، أطلقت شركة Astronomer، الداعم التجاري الرئيسي لـ Apache Airflow، تحديثًا على منصتها Astro، مما يعزز دعم الأعمال والميزات الأمنية وإدارة العمليات. تم تصميم Airflow في البداية لتنسيق خطوط بيانات التحليلات وذكاء الأعمال، ولكنه الآن يُستخدم بشكل متزايد في أعباء العمل المتعلقة بالذكاء الاصطناعي (AI) وتعلم الآلة (ML).

قال جوليان لانيف، الرئيس التنفيذي للتكنولوجيا في Astronomer: "يتألق Airflow في كتابة وتنفيذ خطوط البيانات". "من خلال تعريف الخطوط على أنها كود، يفتح المستخدمون أمامهم إمكانيات لا حصر لها."

أهمية Airflow في تنسيق البيانات

أكد لانيف أن شعبية Airflow قد زادت لأنه يبسط تعريف وبناء ونشر خطوط البيانات للمنظمات. حيث يندمج بسلاسة مع منصات البيانات الكبرى وخدمات السحابة مثل Snowflake وDatabricks وAWS وMicrosoft Azure وGoogle Cloud. بينما يعتبر Airflow سهل الاستخدام للفرق الفردية، تتزايد complexité عند المستوى المؤسسي. وهنا تأتي مساهمة Astronomer من خلال توفير خدمة مدارة لـ Apache Airflow.

تعزز Astronomer الإطار مفتوح المصدر بقدرات إضافية. "لقد طورنا وقت تشغيل Astronomer، مما يحسن الكفاءة للمشروع مفتوح المصدر"، أوضح لانيف.

بالإضافة إلى ذلك، تتضمن منصة Astro أدوات مصممة لتبسيط إنشاء خطوط البيانات. على سبيل المثال، يوفر Astro Cloud IDE بيئة قائمة على الملاحظات لتسهيل تطوير الخطوط، بينما تتجه Astronomer أيضًا نحو الرؤية، مع التركيز على فهم تدفق البيانات عبر النظام البيئي.

تحسين الاتصال والترقيات مع Astro

مع أحدث تحديث لمنصة Astro، تقدم Astronomer تحسينات كبيرة. أحد التحديات الرئيسية في إدارة خطوط البيانات هو ضمان اتصالات آمنة مع مصادر البيانات؛ حيث تتناول ميزة إدارة الاتصال الجديدة هذه المسألة.

تعمل هذه الميزة كنقطة حكومية مركزية للأمان على خطوط البيانات. "يمكن للمديرين بسهولة تعريف الاتصالات مع Snowflake وDatabricks وأي مصادر أخرى متاحة عبر Airflow"، ذكر لانيف.

تسهل التحديثات أيضًا الترقيات والتراجع بسلاسة لتكوينات خطوط البيانات. إذا فشلت إحداها، يمكن للمستخدمين سريعًا العودة إلى تكوين سابق، بينما يقوم النظام قبل تطبيق التحديثات بإجراء فحوصات التوافق لضمان التشغيل السلس.

التزام Astronomer بالذكاء الاصطناعي

تُستخدم Astronomer بشكل متزايد في أعباء العمل المتعلقة بالذكاء الاصطناعي. في نوفمبر، أعلنت الشركة عن تكاملات مع مجموعة متنوعة من مقدمي خدمات الذكاء الاصطناعي، بما في ذلك OpenAI وCohere وPinecone وOpenSearch وWeaviate وpgvector.

كما قدمت Astronomer عمارة مرجعية لبناء ونشر تطبيقات نماذج اللغة الكبيرة (LLM). العرض العام، المتاح على ask.astronomer.io، يوضح كيفية دمج الوثائق من العديد من المصادر باستخدام استراتيجية توليد مدعوم بالاسترجاع (RAG).

يتخيل لانيف استخدامًا واسعًا لـ Airflow ومنصة Astro في تدريب نماذج الذكاء الاصطناعي. "لضمان تدريب نماذجك بأحدث البيانات، تعتبر الموثوقية أمرًا بالغ الأهمية، وهذا هو بالضبط ما تم تصميم Astronomer وAirflow من أجله."