Кэширование токенов и оптимизация расходов
Qwen Code автоматически оптимизирует API расходы за счёт кэширования токенов при использовании аутентификации по API ключу (например, провайдеры, совместимые с OpenAI). Эта функция повторно использует предыдущие системные инструкции и контекст, чтобы уменьшить количество токенов, обрабатываемых в последующих запросах.
Кэширование токенов доступно для:
- Пользователей API ключей (Qwen API key)
- Пользователей Vertex AI (с настроенным проектом и регионом)
Кэширование токенов недоступно для:
- Пользователей OAuth (личные/корпоративные аккаунты Google) — Code Assist API пока не поддерживает создание кэшированного контента
Вы можете посмотреть статистику использования токенов и экономию за счёт кэширования с помощью команды /stats
. Когда закэшированные токены доступны, они будут отображены в выводе статистики.
Last updated on