Lado Oculto da Lua da Kimi Platform: Lançamento da Beta Pública para Cache de Contexto Reduz Custo para Modelos de Texto Longo

Kimi Open Platform Lança Recurso de Cache de Contexto para Desenvolvimento de IA

A Kimi Open Platform apresentou seu novo recurso de Cache de Contexto, agora disponível para testes públicos. Esta tecnologia inovadora visa reduzir os custos para desenvolvedores em até 90%, ao mesmo tempo que melhora significativamente os tempos de resposta para modelos de IA, representando um avanço em eficiência e controle de custos para serviços de inteligência artificial.

O cache de contexto é uma técnica de gerenciamento de dados de ponta que armazena dados frequentemente solicitados antecipadamente, minimizando cálculos repetitivos na fonte de dados original. Quando os usuários solicitam a mesma informação novamente, o sistema pode recuperá-la rapidamente do cache, reduzindo assim o tempo de processamento e despesas. Esta tecnologia é especialmente benéfica para aplicações que dependem de modelos de texto longo e têm alta demanda por consultas.

A Kimi Open Platform destaca que o Cache de Contexto é aplicável em diversos cenários de negócios, incluindo:

- Bots de perguntas e respostas (como o Kimi API Assistant)

- Ferramentas de consulta para conjuntos de documentos fixos (como sistemas de divulgação de informações corporativas)

- Análise periódica de bibliotecas de código estático

É particularmente adequado para aplicações de IA de alto tráfego, como simuladores de conversa e desafios LLM. Após a ativação do Cache de Contexto, os atrasos iniciais de tokens podem ser reduzidos em até 83%, melhorando consideravelmente a experiência do usuário.

Em relação à precificação, a Kimi Open Platform oferece uma estrutura de tarifas flexível e transparente, que inclui custos de criação, armazenamento e uso de cache. As taxas de criação de cache são cobradas com base no número real de tokens, a uma taxa de 24 yuan por milhão de tokens. O armazenamento de cache incide uma tarifa baseada em minutos de 10 yuan por milhão de tokens, enquanto a recuperação de cache é faturada separadamente, cobrindo tanto taxas de tokens incrementais (nas taxas padrão do modelo) quanto encargos de uso de 0,02 yuan por chamada.

A fase de testes públicos durará três meses, com possíveis ajustes de preço com base no feedback dos usuários. O acesso prioritário será concedido aos usuários de Nível 5, e detalhes adicionais para outros usuários serão anunciados posteriormente.

Com a evolução contínua da tecnologia de inteligência artificial, a gestão eficaz de custos, sem comprometer a qualidade do serviço, se tornou uma preocupação central para desenvolvedores e empresas. A introdução do recurso de Cache de Contexto pela Kimi Open Platform oferece uma solução poderosa para esse desafio, prometendo aumentar a adoção e aplicação de serviços de IA.