Dynatrace präsentiert KI-Observabilitätslösung zur Überwachung des vollständigen LLM-Stacks

Dynatrace erweitert seine AI-Observability

Dynatrace, ein führendes Unternehmen aus Massachusetts im Bereich Anwendungsleistungsüberwachung und -optimierung, hat seine Expansion in den Bereich der künstlichen Intelligenz angekündigt.

Während der jährlichen Perform-Konferenz stellte Dynatrace Pläne vor, die Kernanalytikplattform mit neuen Funktionen zu verbessern, die darauf ausgelegt sind, große KI-Modelle und deren Anwendungen zu verfolgen. Dieses neue Angebot, bekannt als Dynatrace AI Observability, zielt darauf ab, Unternehmen mit leistungsstarken Tools zur Überwachung generativer KI-Systeme auszustatten, die zunehmend an Bedeutung gewinnen.

Das AI-Observability-Szenario

Da Organisationen in verschiedenen Sektoren generative KI zunehmend adoptieren, erkennen sie dessen Potenzial, die Produktivität zu steigern und Innovationen voranzutreiben. Gleichzeitig bringt diese Technologie jedoch Risiken mit sich, wie Halluzinationen, Verzerrungen und Sicherheitsanfälligkeiten.

„Wir setzen uns dafür ein, Unternehmen bei den Herausforderungen, die durch generative KI entstehen, zu unterstützen – von Sicherheit und Transparenz über Zuverlässigkeit bis hin zu Kostenmanagement. Dynatrace erweitert seine Expertise in Observability und KI, um Kunden zu befähigen, KI vertrauensvoll zu nutzen und unvergleichliche Einblicke in ihre von generativer KI gesteuerten Anwendungen zu erhalten“, erklärte Bernd Greifeneder, CTO von Dynatrace.

Funktionen von Dynatrace AI Observability

Generative KI ist entscheidend für die Wettbewerbsfähigkeit von Unternehmen und bietet Möglichkeiten zur Effizienzsteigerung und Automatisierung. Allerdings kann sie auch hohe Kosten und ungenaue Ergebnisse nach sich ziehen, wenn sie nicht genau überwacht wird. Um diese Herausforderungen zu bewältigen, ist Wachsamkeit erforderlich, um Probleme wie Modellabweichungen oder Datenunstimmigkeiten zu identifizieren und zu beheben. Hier kommt Dynatrace AI Observability ins Spiel.

Wie Dynatrace AI Observability funktioniert

Durch die Integration von Metriken, Protokollen, Traces, Problemanalysen und Ursachenanalysen bietet die Observability-Lösung von Dynatrace eine End-to-End-Überwachung moderner KI-Anwendungen. Sie deckt den gesamten KI-Stack ab – von Infrastrukturkomponenten wie Google TPUs und Nvidia GPUs bis hin zu grundlegenden Modellen wie GPT-4 und fortschrittlichen Frameworks, die in modernen Architekturen verwendet werden.

Dieser umfassende Ansatz ermöglicht es Teams, die Lebensdauer der KI-Anwendung zu überwachen und Engpässe sowie systemische Probleme zu identifizieren. Beispielsweise kann die Lösung die Infrastruktur-Nutzung analysieren – einschließlich Temperatur, Speicher und Prozessnutzung – und so den Ressourcenverbrauch sowie die Betriebskosten optimieren.

Nahtlose Integration und Compliance

Dynatrace AI Observability bietet auch Integrationen mit Cloud-Diensten und benutzerdefinierten Modellen, wie OpenAI und Azure-Diensten. Diese Integrationen gewährleisten eine robuste Modellüberwachung und halten sich an die Leistungskennzahlen von Service-Level-Agreements (SLA), einschließlich Latenz, Verfügbarkeit und Fehlerquoten. Die Lösung ist mit der hauseigenen Davis AI-Engine von Dynatrace ausgestattet, die ihre Fähigkeit zur Überwachung der KI-Anwendungsergebnisse sowie zur Einhaltung von Datenschutz- und Sicherheitsvorschriften verbessert.

Verfügbarkeit und Zukunftsausblick

Dynatrace führt seine AI-Observability-Lösung ab heute für alle Kunden ein, wobei ausgewählte Unternehmen wie OneStream bereits vorab Zugang für Tests erhalten haben. „Um generative und prädiktive KI erfolgreich zu implementieren, setzen wir auf Dynatrace für deren Zuverlässigkeit und Leistungsfähigkeit zur Unterstützung kritischer Workloads“, bemerkte Ryan Berry, SVP für Engineering & Architektur bei OneStream.

Da die Investitionen in generative KI weiter steigen – mit einer Prognose, dass der Markt bis 2032 auf 1,3 Billionen Dollar anwachsen wird – wird die Überwachung für Organisationen entscheidend werden. Dynatrace steht allerdings in einem wettbewerbsintensiven Markt für AI-Observability, in dem auch Unternehmen wie Monte Carlo, Arize und Datadog vertreten sind. Die kommenden Jahre werden zeigen, wie Unternehmen Lösungen wie Dynatrace AI Observability in dieser sich schnell entwickelnden Landschaft nutzen.