Темная сторона луны платформы Kimi: Запуск общественного бета-тестирования кэширования контекста, сокращающего затраты на модели с длинным текстом.

Запуск функции кэширования контекста на платформе Kimi Open для разработки ИИ

Платформа Kimi Open представила новую функцию кэширования контекста, которая теперь доступна для публичного тестирования. Эта инновационная технология позволяет разработчикам снизить затраты до 90% и значительно улучшить время отклика ИИ-моделей, что является прорывом в области эффективности и контроля расходов на услуги искусственного интеллекта.

Кэширование контекста – это передовая техника управления данными, которая заранее сохраняет часто запрашиваемую информацию, чтобы минимизировать повторные вычисления на исходных данных. При повторном запросе пользователи могут быстро получить данные из кэша, что сокращает время обработки и расходы. Эта технология особенно полезна для приложений, использующих длинные текстовые модели и имеющих высокую частоту запросов.

Платформа Kimi Open подчеркивает, что функция кэширования контекста применима в различных бизнес-сценариях, включая:

- Боты для вопросов и ответов (например, Kimi API Assistant)

- Инструменты для запроса фиксированных наборов документов (такие как системы раскрытия информации компаний)

- Периодический анализ статических библиотек кода

Она особенно подходит для приложений с высокой нагрузкой на ИИ, таких как симуляторы разговоров и LLM Riddles. Включение кэширования контекста позволяет сократить начальные задержки токенов на 83%, значительно улучшая пользовательский опыт.

Что касается цен, платформа Kimi Open предлагает гибкую и прозрачную структуру оплаты, которая включает расходы на создание, хранение и использование кэша. Плата за создание кэша взимается исходя из фактического количества токенов по ставке 24 юаня за миллион токенов. Хранение кэша оплачивается по минутной ставке 10 юаней за миллион токенов, а извлечение кэша включает в себя отдельную плату, которая охватывает как инкрементальные тарифы токенов (по стандартным ставкам модели), так и плату за использование в размере 0,02 юаня за вызов.

Публичное тестирование продлится три месяца, с возможными корректировками цен на основе отзывов пользователей. Приоритетный доступ будет предоставлен пользователям уровня 5, а подробности для других пользователей будут разъяснены позже.

С развитием технологий искусственного интеллекта эффективное управление расходами при сохранении качества услуг стало ключевым вопросом для разработчиков и предприятий. Введение функции кэширования контекста на платформе Kimi Open предоставляет мощное решение этой задачи, обещая улучшение внедрения и применения услуг ИИ.