Кэширование токенов и оптимизация расходов
Qwen Code автоматически оптимизирует затраты на API через кэширование токенов при использовании аутентификации по API ключу (например, провайдеры, совместимые с OpenAI). Эта функция повторно использует предыдущие системные инструкции и контекст, чтобы уменьшить количество токенов, обрабатываемых в последующих запросах.
Кэширование токенов доступно для:
- Пользователей API ключей (Qwen API key)
- Пользователей Vertex AI (с настроенным проектом и регионом)
Кэширование токенов недоступно для:
- Пользователей OAuth (личные/корпоративные аккаунты Google) - Code Assist API пока не поддерживает создание кэшированного контента
Вы можете просмотреть использование токенов и экономию за счет кэшированных токенов с помощью команды /stats. Когда кэшированные токены доступны, они будут отображаться в выводе статистики.
Last updated on