Kimi Platform präsentiert die Dunkle Seite des Mondes: Öffentliche Beta für Context Caching gestartet, senkt Kosten für Langtext-Modelle.

Kimi Open Platform führt Context Caching-Funktion für AI-Entwicklung ein

Die Kimi Open Platform hat ihre neue Funktion für Context Caching vorgestellt, die jetzt für öffentliche Tests verfügbar ist. Diese innovative Technologie zielt darauf ab, die Kosten für Entwickler um bis zu 90 % zu senken und gleichzeitig die Antwortzeiten für KI-Modelle erheblich zu verbessern. Damit markiert sie einen Durchbruch in der Effizienz und Kostenkontrolle für KI-Dienste.

Context Caching ist eine moderne Datenmanagementtechnik, die häufig angeforderte Daten im Voraus speichert, um wiederholte Berechnungen auf der ursprünglichen Datenquelle zu minimieren. Bei erneuten Anfragen kann das System die Informationen schnell aus dem Cache abrufen, wodurch die Verarbeitungszeit und die Kosten reduziert werden. Diese Technologie ist besonders vorteilhaft für Anwendungen, die auf langen Textmodellen basieren und eine hohe Frequenz an Abfragen haben.

Die Kimi Open Platform betont, dass Context Caching in verschiedenen Geschäftsszenarien anwendbar ist, darunter:

- Frage-Antwort-Bots (wie den Kimi API Assistant)

- Abfragewerkzeuge für feste Dokumentensatzsysteme (wie Informationsoffenlegungssysteme von Unternehmen)

- Regelmäßige Analysen statischer Codebibliotheken

Sie eignet sich besonders gut für KI-Anwendungen mit hohem Verkehrsaufkommen, wie Gesprächssimulatoren und LLM-Rätsel. Nach der Aktivierung von Context Caching können die anfänglichen Token-Verzögerungen um 83 % reduziert werden, was die Benutzererfahrung erheblich verbessert.

In Bezug auf die Preisgestaltung bietet die Kimi Open Platform eine flexible und transparente Gebührenstruktur, die Kosten für die Erstellung, Speicherung und Nutzung von Caches umfasst. Die Gebühren für die Cache-Erstellung basieren auf der tatsächlichen Anzahl von Tokens und liegen bei 24 Yuan pro Million Tokens. Die Cache-Speicherung wird minutengenau mit 10 Yuan pro Million Tokens berechnet, während die Cache-Abfrage separat abgerechnet wird und sowohl inkrementelle Token-Gebühren (zu aktuellen Modellpreisen) als auch Nutzungskosten von 0,02 Yuan pro Aufruf umfasst.

Die Testphase wird drei Monate dauern, wobei mögliche Preisänderungen auf Basis des Nutzerfeedbacks angepasst werden können. Tier-5-Nutzer erhalten bevorzugten Zugang, weitere Details für andere Nutzer werden später bekannt gegeben.

Da sich die Technologie der künstlichen Intelligenz weiterentwickelt, wird effektives Kostenmanagement bei gleichzeitiger Aufrechterhaltung der Servicequalität für Entwickler und Unternehmen zu einem zentralen Anliegen. Mit der Einführung der Context Caching-Funktion bietet die Kimi Open Platform eine leistungsstarke Lösung für diese Herausforderung und verspricht, die Akzeptanz und Anwendung von KI-Diensten zu fördern.