天文學家提升 Apache Airflow,以在人工智慧應用中進行數據編排

數據協同在不同系統之間無縫傳輸數據中扮演著至關重要的角色,而 Apache Airflow 作為領先的工具,最初由 Airbnb 開發。最近,Apache Airflow 的主要商業支持者 Astronomer 推出了 Astro 平台的更新,增強了企業支持、安全性和管理功能。最初設計用於分析和商業智能中的數據管道協同,Airflow 現在在人工智能(AI)和機器學習(ML)工作負載中越來越多地被應用。

Astronomer 的首席技術官 Julian LaNeve 表示:「Airflow 擅長編寫和執行數據管道。通過將管道定義為代碼,用戶可以解鎖幾乎無限的可能性。」

Airflow 在數據協同中的重要性

LaNeve 強調,隨著 Airflow 簡化了組織內數據管道的定義、建設和部署,它的受歡迎程度正在迅速上升。它能夠與主要數據平台和云服務無縫集成,例如 Snowflake、Databricks、AWS、Microsoft Azure 和 Google Cloud。雖然 Airflow 對單一團隊友好,但在企業級別上,它的複雜性會增加。這正是 Astronomer 提供 Apache Airflow 託管服務的原因。

Astronomer 對開源框架進行了增強。「我們開發了 Astronomer 執行環境,優化了開源項目以提高效率。」LaNeve 解釋道。

此外,Astro 平台包括設計用於簡化數據管道創建的工具。例如,Astro Cloud IDE 提供了一個基於筆記本的環境,以便輕鬆開發管道,而 Astronomer 也開始專注於可觀察性,幫助用戶理解生態系統中的數據流。

Astro 的增強連接性與升級

在最新的 Astro 平台更新中,Astronomer 引入了重要的增強功能。管理數據管道的一大挑戰是確保安全的數據源連接;新的連接管理功能解決了這一問題。此功能作為數據管道的集中治理與安全點。「管理員可以輕鬆定義與 Snowflake、Databricks 和任何其他通過 Airflow 可訪問的數據源的連接。」LaNeve 指出。

此次更新還促進了數據管道配置的更順暢升級和回滾。如果管道失敗,用戶可以快速回退到先前的配置,而平台在應用更新之前會進行兼容性檢查,以確保平穩運行。

Astronomer 對 AI 的承諾

Astronomer 在 AI 工作流中越來越多地得到應用。十一月,該公司宣布與多家 AI 供應商整合,包括 OpenAI、Cohere、Pinecone、OpenSearch、Weaviate 和 pgvector。

Astronomer 還引入了用於構建和部署大型語言模型(LLM)應用的參考架構。公共演示可在 ask.astronomer.io 獲取,展示了如何利用檢索增強生成(RAG)策略整合來自多個來源的文檔。

LaNeve 預見 Airflow 和 Astro 平台將在訓練 AI 模型中得到廣泛應用。「為確保您的模型以最新數據進行訓練,可靠性至關重要,而這正是 Astronomer 和 Airflow 的設計初衷。」

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles