トークンキャッシングとコスト最適化
Qwen Code は、API キー認証を使用している場合(例:OpenAI 互換プロバイダー)、トークンキャッシングを通じて API コストを自動的に最適化します。この機能は、以前のシステム指示とコンテキストを再利用して、後続のリクエストで処理されるトークン数を削減します。
トークンキャッシングが利用可能なのは以下のユーザーです:
- API キー利用者(Qwen API キー)
- Vertex AI 利用者(プロジェクトとロケーションの設定済み)
トークンキャッシングが利用できないのは以下のユーザーです:
- OAuth 利用者(Google 個人/エンタープライズアカウント)— 現在のところ、Code Assist API はキャッシュされたコンテンツの作成をサポートしていません
トークン使用量とキャッシュされたトークンによる節約量は、/stats
コマンドで確認できます。キャッシュされたトークンがある場合、それは stats の出力に表示されます。
Last updated on