Confluent, AI로 실시간 스트리밍 가속화 위한 간편 솔루션 공개

데이터 스트리밍 혁신: 아시아 최초의 카프카 서밋 하이라이트

데이터 스트리밍 리더인 Confluent가 인도 벵갈루루에서 첫 카프카 서밋을 개최했습니다. 이 행사에는 카프카 커뮤니티의 많은 인사들이 참석했으며, 참가자의 30% 이상이 지역에서 왔습니다. 고객 및 파트너와의 흥미로운 세션이 진행되며, 실시간 데이터 솔루션의 중요성이 더욱 부각되었습니다.

Jay Kreps의 기조연설 요점

CEO이자 공동 창립자인 Jay Kreps는 운영 및 분석 능력을 강화하는 유니버설 데이터 제품을 만드는 비전을 발표했습니다. 그는 Confluent 생태계 내의 여러 혁신, 특히 실시간 AI 워크로드 운영을 간소화하는 새로운 기능을 소개했습니다.

AI 모델 추론 간소화

Kreps는 이 새로운 기능이 개발자들이 실시간 데이터로 AI 모델을 훈련하고 추론할 때 다양한 도구와 언어를 관리하는 복잡성을 완화하는 것을 목표로 한다고 강조했습니다. 미디어 토론에서 Confluent의 최고 제품 책임자(CPO) Shaun Clowes는 현대 AI 환경을 탐색하기 위한 전략을 설명했습니다.

카프카 진화

10년 전, 조직들은 주로 배치 데이터를 분석에 의존하여 최신 정보를 활용하는 데 제약이 있었습니다. 이를 해결하기 위해 Apache Kafka와 같은 오픈 소스 기술이 등장하여 실시간 데이터 이동, 관리 및 처리를 가능하게 했습니다. 오늘날 Apache Kafka는 다양한 기업에서 스트리밍 데이터의 표준 솔루션으로 자리잡았습니다. Kreps가 카프카의 원조 제작자 중 한 명인 Confluent는 이 강력한 플랫폼을 기반으로 상업적 제품과 서비스를 개발했습니다.

Confluent는 지난해 Apache Flink 프로젝트의 주요 기업 Immerok를 인수하여 실시간 데이터 처리 능력을 한층 강화했으며, 이를 통해 데이터 스트림의 효율적인 필터링, 조인 및 풍부화가 가능해졌습니다.

실시간 AI의 흥미로운 발전

카프카 서밋에서 Confluent는 Apache Flink를 위한 클라우드 네이티브 제공의 일환으로 AI 모델 추론 기능을 공개했습니다. 이 혁신은 스트리밍 데이터 애플리케이션 내에서 AI와 머신 러닝의 통합을 간소화합니다. Clowes는 카프카가 다양한 시스템을 실시간으로 연결하도록 설계되었으며, AI의 부상으로 가능성이 더욱 확장되었다고 강조했습니다.

이전에는 Flink를 배포하는 팀들이 스트리밍 데이터로 AI를 호출하는 데 어려움을 겪었고, 이는 상당한 코드 작업과 도구 통합을 필요로 했습니다. 그러나 이제 AI 모델 추론을 통해 사용자는 OpenAI, AWS SageMaker, Google Cloud Vertex, Microsoft Azure의 AI 엔진에 간단한 SQL 명령어를 통해 직접 접근할 수 있어 접근성과 효율성이 향상되었습니다.

모델 선택의 유연성

Confluent의 플러그 앤 플레이 접근 방식을 통해 사용자는 필요에 따라 AI 모델을 유연하게 선택할 수 있습니다. 모델 성능이 변화할 때, 사용자는 기본 데이터 파이프라인을 변경하지 않고도 한 모델에서 다른 모델로 전환할 수 있어 적응성과 비용 효율성이 극대화됩니다.

Clowes는 고객 데이터를 처리하고 벡터 데이터베이스에 임베딩을 저장하는 첫 번째 Flink 작업과 추론 요청을 처리하는 두 번째 작업을 예로 들어 이 간소화된 접근 방식이 고객 문의에 신속하게 대응할 수 있도록 한다고 설명했습니다.

확장 및 혁신 계획

현재 AI 모델 추론은 특정 고객에게 제공되며, 향후 몇 달 내에 더 폭넓은 접근과 추가 기능을 제공할 계획입니다. Confluent는 코드 작업 및 워크플로우에서 사용자를 지원할 수 있도록 설계된 생성 AI 어시스턴트를 통합하여 클라우드 네이티브 제공을 강화할 예정입니다.

화물 클러스터를 통한 비용 효율적인 솔루션

Confluent는 또한 자동 확장 및 느리고 비용 효율적인 복제 방법을 사용하는 혁신적인 서버리스 클러스터 유형인 화물 클러스터를 도입했습니다. 이러한 접근 방식은 약간의 지연을 초래할 수 있지만 최대 90%의 비용 절감 효과를 가져옵니다. Clowes는 이 솔루션이 로그와 원거리 데이터 처리와 같은 특정 사용 사례에 이상적이라고 언급했습니다.

APAC 지역의 미래 성장

앞으로 Clowes와 Kreps는 Confluent의 APAC 지역, 특히 인도에서의 존재감을 확대하겠다는 의지를 표명하며, 인력을 25% 늘릴 계획입니다. 그들은 또한 스트리밍 영역에서 데이터 거버넌스와 셀프 서비스 기능을 강화하는 데 주력하고 있으며, 이는 전통적인 데이터 레이크에 비해 여전히 미개발된 분야입니다.

요약하자면, Confluent는 실시간 데이터 스트리밍과 AI 통합에서 중대한 발전을 이끌어낼 준비가 되어 있으며, 이 빠르게 변화하는 산업에서 지속적인 혁신과 적응을 이어가고 있습니다.