프롬프트 캐싱은 프롬프트의 시작 부분을 모델이 이전에 처리한 것을 재사용합니다. 요청이 최근 토큰과 동일한 토큰으로 시작하면, 해당 캐시 토큰은 1개 토큰을 나열하는 모델에서는 더 낮은 캐시 읽기 속도로 청구하고, 나머지는 정상 입력 속도로 청구합니다.
모델이 무언가를 쓰기 전에, 입력의 모든 토큰을 처리합니다. 많은 애플리케이션은 모든 요청마다 동일한 시작 토큰을 보냅니다: 긴 시스템 프롬프트, 도구 정의 집합, 참조 문서, 또는 이전 대화 순서 등.
프롬프트 캐싱은 그 열린 부분의 처리된 결과를 프리픽스라고 합니다. 이후 요청이 정확히 같은 토큰으로 시작하면, 모델은 캐시된 접두사를 재사용하고 그 뒤에 오는 새로운 토큰만 처리합니다. 출력은 일반적인 방식으로 생성되므로, 캐싱은 모델이 무엇을 쓰는지가 아니라 입력의 청구 방식을 변경합니다.
시스템 프롬프트와 도구 정의가 4,000개의 토큰으로 나오고, 이어서 150개의 토큰 질문이 나오는 어시스턴트를 생각해 봅시다. 그 첫 부분이 캐시에서 읽히면, 4,150개의 입력 토큰 중 약 4,000개가 캐시 읽기 속도로 청구되고, 질문 자체만이 전체 입력 속도로 청구됩니다.
캐시 매치는 첫 번째 토큰에서 시작하여 첫 번째 차이에서 종료됩니다. 프롬프트 시작 근처의 타임스탬프, 사용자 이름 또는 시스템 프롬프트 내 요청 ID 같은 한 문자가 변경되더라도, 캐시에서 읽을 수 있는 이후에는 아무 의미가 없습니다. 캐시 히트율을 올리려면:
일치하는 접두사는 캐시가 읽힐 가능성이 높다는 뜻이지 확실하지 않으니, 단정 짓기보다는 히트율을 측정하세요.
캐싱은 자동으로 이루어집니다. 캐시를 생성하거나 추가할 마커가 없습니다: 캐시를 지원하는 모델에서는 반복되는 접두사가 단독으로 캐시됩니다.
빨리 /v1/models 비율을 다음과 같이 보고합니다. input_cache_read in 가격. 캐시 할인이 없는 모델에서는 일반 입력 속도와 같습니다.사용 예를 들어 캐시된 토큰을 보고합니다 cache_read_input_tokens 온 /v1/messages 에 그리고 input_tokens_details.cached_tokens 온 /v1/responses 에·.cache_hit_rate, 시간 창 내에서 캐시에서 제공되는 입력 토큰의 비중, 모든 모델 또는 단일 모델에 대한 비중입니다.캐시된 토큰도 여전히 입력이므로 컨텍스트 창 다른 토큰처럼.
모든 프롬프트가 첫 토큰과 다를 때 캐싱은 별 효과가 없습니다. 비용 측면에 대해서는 다음을 참조하세요 토큰 청구 방식 그리고 현재 캐시 읽기 속도를 가격표·.
모델 36개가 입력 요금과 함께 캐시된 입력 요금을 게시하며, 각 요금표에서 실시간으로 읽어 옵니다.
| 모델 | 입력 | 캐시된 입력 |
|---|---|---|
| GLM 4.5 Flash Z.ai | 무료 | 무료 |
| GLM 4.6V Flash Z.ai | 무료 | 무료 |
| GLM 4.7 Flash Z.ai | 무료 | 무료 |
| Qwen3.7 Flash Alibaba Cloud | <=32K $0.03 32K-256K $0.10 256K-1M $0.20 | <=32K $0.006 32K-256K $0.02 256K-1M $0.04 |
| GLM 4.6V FlashX Z.ai | $0.04 | $0.036 |
| Nova Micro 1.0 Amazon | $0.040 | $0.0224 |
| Qwen3.5 4B Alibaba Cloud | $0.04 | $0.02 |
| Gemma 4 26B-A4B Google | $0.15$0.05 | $0.15$0.025 |
| 모델 | 입력 | 캐시된 입력 |
|---|---|---|
| Nova Lite 1.0 Amazon | $0.069 | $0.0386 |
| GLM 4.7 FlashX Z.ai | $0.07 | $0.063 |
| Qwen3.6 35B A3B Alibaba Cloud | $0.248$0.07 | $0.035 |
| Qwen3.5 9B Alibaba Cloud | $0.10$0.09 | $0.045 |
| Step 3.5 Flash StepFun | $0.10 | $0.02 |
| Step 3.5 Flash 2603 StepFun | $0.10 | $0.02 |
| MiniMax M3.1 Flash MiniMax | $0.15$0.1125 | $0.015$0.01125 |
| Qwen3.8 27B Alibaba Cloud | $0.45$0.17 | $0.08 |
| DeepSeek V4.1 Flash 1017 DeepSeek | $0.20 | $0.02 |
| Muse Glimmer 30B Meta AI | $0.35$0.20 | $0.05 |
| Step 3.7 Flash StepFun | $0.20 | $0.04 |
| MiniMax M3 MiniMax | $0.30 <=512K $0.225 $0.60 >512K $0.45 | $0.06 <=512K $0.045 $0.12 >512K $0.09 |
| Nova Lite 2 Amazon | $0.38 | $0.2128 |
| GLM 5.1 Z.ai | $1.40 <=32K $0.825 $1.40 32K-200K $1.10 | $0.26 <=32K $0.165 $0.26 32K-200K $0.22 |
| Kimi K2.6 Moonshot AI | $0.95$0.8939 | $0.1788 |
| Step 5 Preview StepFun | $1.00 | $0.10 |
| Muse Spark 1.1 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.2 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.3 Meta AI | $1.25 | $1.00 |
| Qwen4 Max Alibaba Cloud | $1.50 | $0.075 |
| StepAudio 2.5 Chat StepFun | $1.50 | $0.30 |
| StepAudio 2.5 Realtime StepFun | $1.50 | $0.30 |
| StepAudio 3 Chat StepFun | $1.50 | $0.30 |
| Fugu Max Sakana AI | $2.00 | $0.25 |
| Kimi K3.1 Pro Moonshot AI | $2.00 | $0.184 |
| Fugu Ultra v1.1 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v2.0 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v1.0 Sakana AI | <=272K $7.50 >272K $15.00 | <=272K $1.50 >272K $3.00 |
아니요. 이를 지원하는 모델에서는 반복되는 프롬프트 접두사에 자동으로 캐싱이 적용됩니다. 변경되지 않는 프롬프트 부분을 처음에 넣어 최대한 활용하세요.
캐시된 입력 토큰은 모델의 캐시 읽기 속도로 청구되며, 이는 일반적인 입력 속도보다 낮습니다. 캐싱을 지원하는 각 모델은 캐시 읽기 가격을 표시합니다.
아니요. 캐싱은 입력이 어떻게 처리되고 청구되는지에 영향을 줍니다. 모델은 평소와 같은 방식으로 출력을 생성합니다.
각 응답의 usage 객체는 캐싱이 적용될 때 캐시된 입력 토큰을 보고합니다. Account Usage API는 또한 모든 모델 또는 한 모델에 대해 어느 시간대에 대해서든 캐시 적중률을 반환합니다.