천문학자가 AI 애플리케이션을 위한 데이터 오케스트레이션에 Apache Airflow를 개선하다

데이터 오케스트레이션은 다양한 시스템 간에 데이터를 원활하게 전송하는 데 중요한 역할을 하며, Apache Airflow는 이를 위한 주요 도구로서 Airbnb에서 처음 개발되었습니다. 최근 Apache Airflow의 주요 상업적 지원자인 Astronomer가 Astro 플랫폼의 업데이트를 출시하여 기업 지원, 보안 및 관리 기능을 강화했습니다. 데이터 파이프라인을 분석 및 비즈니스 인텔리전스에 맞추어 오케스트레이션하기 위해 설계된 Airflow는 이제 인공지능(AI) 및 머신러닝(ML) 워크로드에도 점점 더 많이 사용되고 있습니다.

“Airflow는 데이터 파이프라인을 작성하고 실행하는 데 탁월합니다.”라고 Astronomer의 CTO인 Julian LaNeve가 말했습니다. “파이프라인을 코드로 정의함으로써 사용자들은 사실상 무한한 가능성을 열어줍니다.”

Airflow의 데이터 오케스트레이션 중요성

LaNeve는 Airflow의 인기가 상승한 이유는 조직에서 데이터 파이프라인을 정의하고 구축하며 배포하는 과정을 간소화하기 때문이라고 강조했습니다. Airflow는 Snowflake, Databricks, AWS, Microsoft Azure, Google Cloud와 같은 주요 데이터 플랫폼 및 클라우드 서비스와 원활하게 통합됩니다. Airflow는 단일 팀에 대해 사용자 친화적이지만, 기업 규모에서는 복잡성이 증가합니다. 이러한 점에서 Astronomer는 Apache Airflow를 위한 관리 서비스를 제공합니다.

Astronomer는 오픈 소스 프레임워크에 추가 기능을 제공합니다. “우리는 Astronomer 런타임을 개발하여 오픈 소스 프로젝트의 효율성을 크게 개선했습니다.”라고 LaNeve가 설명했습니다.

또한, Astro 플랫폼은 데이터 파이프라인 생성을 간소화하기 위한 도구들을 포함하고 있습니다. 예를 들어, Astro Cloud IDE는 간편한 파이프라인 개발을 위한 노트북 기반 환경을 제공합니다. Astronomer는 데이터 흐름을 이해하는 데 중점을 두며 관측 가능성 분야로도 확장하고 있습니다.

Astro의 향상된 연결성 및 업그레이드

최신 Astro 플랫폼 업데이트로 Astronomer는 중요한 향상을 도입했습니다. 데이터 파이프라인 관리의 주요 과제 중 하나는 데이터 소스와의 안전한 연결을 보장하는 것으로, 새로운 연결 관리 기능이 이 문제를 해결합니다. 이 기능은 데이터 파이프라인을 위한 중앙 집중식 거버넌스 및 보안 지점을 제공합니다. “관리자는 Snowflake, Databricks 및 Airflow를 통해 접근 가능한 모든 소스에 대한 연결을 쉽게 정의할 수 있습니다.”라고 LaNeve가 밝혔습니다.

업데이트는 데이터 파이프라인 구성의 원활한 업그레이드 및 롤백을 가능하게 합니다. 파이프라인이 실패할 경우 사용자는 이전 구성으로 신속하게 되돌릴 수 있으며, 플랫폼은 업데이트 적용 전에 호환성 검사를 수행하여 원활한 운영을 보장합니다.

Astronomer의 AI에 대한 헌신

Astronomer는 AI 워크플로우에도 점점 더 많이 사용되고 있습니다. 11월에 회사는 OpenAI, Cohere, Pinecone, OpenSearch, Weaviate, pgvector 등 다양한 AI 공급업체와의 통합을 발표했습니다. Astronomer는 대형 언어 모델(LLM) 애플리케이션을 구축하고 배포하기 위한 참조 아키텍처도 소개했습니다. 공개 시연은 ask.astronomer.io에서 확인할 수 있으며, 여러 출처의 문서를 통합하는 방법을 검색 보강 생성(RAG) 전략을 사용하여 보여줍니다.

LaNeve는 Airflow와 Astro 플랫폼의 광범위한 사용을 위해 AI 모델 교육에 대한 비전을 가지고 있습니다. “모델이 최신 데이터로 교육받도록 하려면 신뢰성이 매우 중요하며, 바로 그것이 Astronomer와 Airflow가 설계된 목적입니다.”