Lado oscuro de la luna de Kimi Platform: Lanza la beta pública de Context Caching, reduciendo costos para modelos de texto extenso.

Lanzamiento de la función de caché de contexto en Kimi Open Platform para el desarrollo de IA

Kimi Open Platform ha presentado su nueva función de Caché de Contexto, ahora disponible para pruebas públicas. Esta innovadora tecnología busca reducir los costos para los desarrolladores en hasta un 90% y mejorar significativamente los tiempos de respuesta de los modelos de IA, marcando un avance en la eficiencia y el control de costos para los servicios de inteligencia artificial.

La caché de contexto es una técnica avanzada de gestión de datos que almacena de antemano la información solicitada con frecuencia para minimizar cálculos repetitivos en la fuente de datos original. Cuando los usuarios vuelven a solicitar la misma información, el sistema puede recuperarla rápidamente de la caché, reduciendo así el tiempo de procesamiento y los gastos. Esta tecnología es especialmente beneficiosa para aplicaciones que dependen de modelos de texto largo y tienen demandas de consultas frecuentes.

Kimi Open Platform destaca que la Caché de Contexto es aplicable en diversos escenarios empresariales, incluidos:

- Bots de preguntas y respuestas (como el Asistente API de Kimi)

- Herramientas de consulta para conjuntos de documentos fijos (como sistemas de divulgación de información empresarial)

- Análisis periódico de bibliotecas de código estático

Es particularmente adecuada para aplicaciones de IA de alto tráfico, como simuladores de conversación y acertijos de LLM. Al habilitar la Caché de Contexto, los retrasos iniciales en tokens pueden reducirse en un 83%, mejorando significativamente la experiencia del usuario.

En cuanto a precios, Kimi Open Platform ofrece una estructura de tarifas flexible y transparente, que incluye costos por creación, almacenamiento y uso de caché. Las tarifas por creación de caché se cobran según el número real de tokens, a una tasa de 24 yuanes por millón de tokens. El almacenamiento de caché incurre en una tarifa por minuto de 10 yuanes por millón de tokens, mientras que la recuperación de caché se factura por separado, cubriendo tanto los costos incrementales de tokens (a tarifas estándar de modelo) como los cargos de uso de 0.02 yuanes por llamada.

La fase de pruebas públicas durará tres meses, con posibles ajustes de precios basados en la retroalimentación de los usuarios. Se otorgará acceso prioritario a los usuarios de Nivel 5, y se anunciarán más detalles para otros usuarios más adelante.

A medida que la tecnología de inteligencia artificial sigue evolucionando, la gestión efectiva de costos, manteniendo la calidad del servicio, se ha convertido en una preocupación central para desarrolladores y empresas. La introducción de la función de Caché de Contexto por parte de Kimi Open Platform proporciona una solución poderosa a este desafío, prometiendo mejorar la adopción y aplicación de los servicios de IA.