토큰 캐싱 및 비용 최적화

Qwen Code는 API 키 인증을 사용할 때 토큰 캐싱을 통해 API 비용을 자동으로 최적화합니다. 이 기능은 시스템 프롬프트와 대화 기록과 같이 자주 사용되는 콘텐츠를 저장하여 후속 요청에서 처리되는 토큰 수를 줄입니다.

이점

• 비용 절감: 적은 토큰은 더 낮은 API 비용을 의미합니다
• 빠른 응답: 캐시된 콘텐츠가 더 빠르게 검색됩니다
• 자동 최적화: 설정이 필요 없습니다 — 백그라운드에서 작동합니다

토큰 캐싱 사용 가능 대상

• API 키 사용자 (Qwen API 키, OpenAI 호환 공급자)

절약 모니터링

/stats 명령어를 사용하여 캐시된 토큰 절약을 확인하세요:

• 활성화되면, 통계 표시는 얼마나 많은 토큰이 캐시에서 제공되었는지 보여줍니다
• 절대 수와 캐시된 토큰의 백분율을 모두 확인할 수 있습니다
• 예시: “10,500 (90.4%) of input tokens were served from the cache, reducing costs.”

이 정보는 캐시된 토큰이 사용될 때만 표시됩니다. API 키 인증에서는 발생하지만 OAuth 인증에서는 발생하지 않습니다.

예시 통계 표시

위 이미지는 /stats 명령어 출력의 예시를 보여주며, 캐시된 토큰 절약 정보를 강조합니다.