Dynatrace推出AI可观测性解决方案,全面监控LLM技术栈

Dynatrace 拓展人工智能可观测性

总部位于马萨诸塞州的应用性能监控及优化领导者 Dynatrace 宣布进军人工智能领域。在其年度 Perform 大会上,Dynatrace 计划通过新功能增强核心分析平台,以便追踪大型 AI 模型及其应用。这一新产品,被称为 Dynatrace AI 可观测性,旨在为企业提供强大的监控工具,以支持日益增长的生成式 AI 系统。

人工智能可观测性的背景

随着各行业越来越多地采用生成式 AI,企业逐渐认识到其提升生产力和推动创新的潜力。然而,这项技术也带来了诸如幻觉、偏见和安全漏洞等风险。

“我们致力于帮助组织应对生成式 AI 所带来的挑战,从安全性和透明度到可靠性和成本管理。Dynatrace 将利用我们的可观测性和 AI 专业知识,帮助客户自信地采用 AI,确保对其生成式 AI 驱动应用的独特洞察,”Dynatrace 首席技术官 Bernd Greifeneder 说道。

Dynatrace AI 可观测性的功能

生成式 AI 是企业竞争力的重要组成部分,可以提升效率和自动化。然而,如果缺乏监控,可能会导致高成本和不准确的输出。解决这些挑战需要在模型漂移和数据差异等问题出现时保持警惕,这正是 Dynatrace AI 可观测性发挥关键作用的地方。

Dynatrace AI 可观测性如何运作

通过集成指标、日志、追踪、问题分析和根本原因信息,Dynatrace 的可观测性解决方案为现代 AI 应用提供端到端监控。它涵盖整个 AI 技术栈,从基础设施组件(如 Google TPUs 和 Nvidia GPUs)到基础模型(如 GPT-4)及现代架构中使用的高级框架。

这种全面的方法使团队能够监控 AI 应用程序的整个生命周期,从而识别性能瓶颈和系统性问题。例如,该解决方案可以分析基础设施的利用率,包括温度、内存和进程使用情况,从而优化资源消耗和运营成本。

无缝集成与合规性

Dynatrace AI 可观测性还与云服务及自定义模型(例如 OpenAI 和 Azure 服务)进行集成。这些集成确保了强大的模型监控,同时遵循服务水平协议(SLA)的性能指标,如延迟、可用性和错误率。该解决方案配备了 Dynatrace 独有的 Davis AI 引擎,增强了监控 AI 应用输出的能力,并确保符合隐私和安全法规。

可用性与未来展望

今天,Dynatrace 正在向所有客户推出其 AI 可观测性解决方案,某些公司如 OneStream 已获得早期测试访问权限。“为了成功实施生成式和预测性 AI,我们依赖于 Dynatrace 在支持关键工作负载方面的可靠性和性能,”OneStream 的工程与架构高级副总裁 Ryan Berry 表示。

随着对生成式 AI 投资的持续增长,预计到2032年市场将达到1.3万亿美元,监控将成为企业的关键。然而,Dynatrace 在 AI 可观测性市场中并非唯一参与者,还面临来自 Monte Carlo、Arize 和 Datadog 等公司的竞争。未来几年,将揭示企业如何在这一快速发展的领域中利用像 Dynatrace AI 可观测性这样的解决方案。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles