Dynatrace, AI 관측 솔루션 출시하여 전체 LLM 스택 모니터링.

다이나트레이스, AI 가시성으로 확장

매사추세츠에 본사를 둔 애플리케이션 성능 모니터링 및 최적화의 선두주자인 다이나트레이스가 인공지능 분야로의 확장을 발표했습니다. 연례 Perform 컨퍼런스에서 다이나트레이스는 대규모 AI 모델 및 그 응용 프로그램을 추적하기 위해 설계된 새로운 기능으로 핵심 분석 플랫폼을 향상할 계획을 공개했습니다. 이 새로운 제품인 다이나트레이스 AI 가시성은 기업들이 생성적 AI 시스템을 모니터링할 수 있는 강력한 도구를 제공하는 것을 목표로 하고 있습니다.

AI 가시성의 현황

다양한 산업에서 생성적 AI의 채택이 늘어나면서, 이를 통해 생산성 증대와 혁신 주도를 기대하고 있습니다. 그러나 이 기술은 환각, 편향, 보안 취약점과 같은 위험도 동반합니다. 다이나트레이스의 CTO인 베른트 그라이펜더는 "우리는 기업들이 생성적 AI가 제기하는 보안, 투명성, 신뢰성 및 비용 관리의 도전 과제를 해결할 수 있도록 돕기 위해 최선을 다하고 있습니다. 다이나트레이스는 고객들이 AI를 자신 있게 수용할 수 있도록 지원하고, 그들의 생성적 AI 기반 애플리케이션에 대한 독보적 통찰력을 보장할 것입니다."라고 말했습니다.

다이나트레이스 AI 가시성의 기능

생성적 AI는 비즈니스 경쟁력의 핵심 요소로, 효율성 향상과 자동화 기회를 제공합니다. 그러나 밀접한 모니터링이 이루어지지 않으면 높은 비용과 부정확한 결과를 초래할 수 있습니다. 이러한 문제를 해결하려면 모델 드리프트나 데이터 불일치와 같은 이슈를 식별하고 해결해야 합니다. 이때 다이나트레이스 AI 가시성이 중요한 역할을 합니다.

다이나트레이스 AI 가시성 작동 방식

측정 지표, 로그, 추적, 문제 분석 및 원인 정보를 통합함으로써, 다이나트레이스의 가시성 솔루션은 현대 AI 애플리케이션의 끝에서 끝까지 모니터링을 제공합니다. 이 솔루션은 Google TPU와 Nvidia GPU와 같은 인프라 구성 요소부터 GPT-4와 같은 기초 모델, 현대 아키텍처에서 사용되는 고급 프레임워크까지 AI 스택 전체를 포괄합니다.

이 포괄적인 접근 방식은 팀들이 AI 애플리케이션의 생애 주기를 한눈에 볼 수 있게 하여 성능 병목 현상 및 시스템 문제를 식별할 수 있게 해줍니다. 예를 들어, 이 솔루션은 온도, 메모리 및 프로세스 사용량 등을 포함한 인프라 활용도를 분석하여 자원 소비와 운영 비용을 최적화할 수 있습니다.

원활한 통합 및 규정 준수

다이나트레이스 AI 가시성은 OpenAI 및 Azure 서비스와 같은 클라우드 서비스 및 맞춤형 모델과의 통합 기능도 제공합니다. 이러한 통합은 성능 지표인 지연, 가용성 및 오류율을 준수하면서 강력한 모델 모니터링을 보장합니다. 이 솔루션은 다이나트레이스의 독점 AI 엔진인 데이비스(Davis)가 탑재되어 AI 애플리케이션의 출력 모니터링과 프라이버시 및 보안 규정 준수를 강화합니다.

가용성 및 미래 전망

다이나트레이스는 오늘부터 모든 고객에게 AI 가시성 솔루션을 출시하며, OneStream과 같은 선택된 기업들은 테스트를 위해 조기 접근을 허용받았습니다. OneStream의 엔지니어링 및 아키텍처 수석 부사장인 라이언 베리는 "생성적 및 예측 AI를 성공적으로 구현하기 위해 우리는 다이나트레이스의 신뢰성과 성능에 의존하고 있습니다."라고 말했습니다.

생성적 AI에 대한 투자가 계속 증가하면서 시장은 2032년까지 1.3조 달러에 이를 것으로 전망되고 있습니다. 따라서 모니터링은 기업들에 있어 핵심 요소가 될 것입니다. 그러나 다이나트레이스는 AI 가시성 시장에서 Monte Carlo, Arize, Datadog와 같은 기업들과 경쟁하고 있는 여러 플레이어 중 하나입니다. 향후 몇 년 동안 기업들이 빠르게 진화하는 이 시장에서 다이나트레이스 AI 가시성과 같은 솔루션을 어떻게 활용할지가 주목됩니다.