提示缓存会重用模型之前对提示开头部分的处理。当请求以与最近相同的令牌开始时,这些缓存令牌在列出一个令牌的模型上按较低的缓存读取率计费,其余则按正常输入速率计费。
在模型写入任何东西之前,它先处理输入的每一个标记。许多应用程序在每个请求中都会发送相同的开头标记:长的系统提示符、一组工具定义、一份参考文档,或对话的早期轮回。
提示缓存保留该开启部分的处理后结果,称为前缀。当后续请求以完全相同的标记开始时,模型会重复使用缓存前缀,只处理紧随其后的新标记。输出按常规方式生成,缓存改变的是输入的计费方式,而非模型写入的内容。
想象一个助手,他的系统提示和工具定义分别是4000个令牌,随后是一道150个令牌的问题。当从缓存读取开头部分时,大约4,000个输入令牌中约有4,000个按缓存读取速率计费,只有问题按完整输入速率计费。
缓存匹配从第一个令牌开始,并在第一个差值处结束。提示符开头附近发生的单个字符变动,如时间戳、用户名或系统提示符中的请求 ID,在从缓存读取后将不再具有意义。提高缓存命中率的方法:
匹配的前缀意味着缓存读取的可能性,而非确定,所以要测量你的命中率,而不是假设。
缓存是自动完成的。无需创建缓存,也无需添加标记:在支持缓存的模型中,重复前缀会自动缓存。
快去/v1/models 报告费率为 input_cache_read 在 定价.在没有缓存折扣的型号上,它等于正常的输入速率。用途 例如,报告缓存的令牌 cache_read_input_tokens 关于 /v1/messages (英语) 以及 input_tokens_details.cached_tokens 关于 /v1/responses (英语)。 。 。.cache_hit_rate,指在某个时间窗口内,缓存中从缓存中提供的输入令牌份额,涵盖所有模型或针对一个模型。缓存的代币仍然是输入,因此它们计入 上下文窗口 就像其他任何代币一样。
当每个提示都与第一个代币不同时,缓存几乎没有什么作用。关于成本方面,请参见 代币的计费方式 以及当前缓存读取速率 定价页面。 。 。.
36 个模型在输入费率旁列出了缓存输入费率,实时读取自各自的价目表。
| 模型 | 输入 | 缓存输入 |
|---|---|---|
| GLM 4.5 Flash Z.ai | 免费 | 免费 |
| GLM 4.6V Flash Z.ai | 免费 | 免费 |
| GLM 4.7 Flash Z.ai | 免费 | 免费 |
| Qwen3.7 Flash Alibaba Cloud | <=32K $0.03 32K-256K $0.10 256K-1M $0.20 | <=32K $0.006 32K-256K $0.02 256K-1M $0.04 |
| GLM 4.6V FlashX Z.ai | $0.04 | $0.036 |
| Nova Micro 1.0 Amazon | $0.040 | $0.0224 |
| Qwen3.5 4B Alibaba Cloud | $0.04 | $0.02 |
| Gemma 4 26B-A4B Google | $0.15$0.05 | $0.15$0.025 |
| 模型 | 输入 | 缓存输入 |
|---|---|---|
| Nova Lite 1.0 Amazon | $0.069 | $0.0386 |
| GLM 4.7 FlashX Z.ai | $0.07 | $0.063 |
| Qwen3.6 35B A3B Alibaba Cloud | $0.248$0.07 | $0.035 |
| Qwen3.5 9B Alibaba Cloud | $0.10$0.09 | $0.045 |
| Step 3.5 Flash StepFun | $0.10 | $0.02 |
| Step 3.5 Flash 2603 StepFun | $0.10 | $0.02 |
| MiniMax M3.1 Flash MiniMax | $0.15$0.1125 | $0.015$0.01125 |
| Qwen3.8 27B Alibaba Cloud | $0.45$0.17 | $0.08 |
| DeepSeek V4.1 Flash 1017 DeepSeek | $0.20 | $0.02 |
| Muse Glimmer 30B Meta AI | $0.35$0.20 | $0.05 |
| Step 3.7 Flash StepFun | $0.20 | $0.04 |
| MiniMax M3 MiniMax | $0.30 <=512K $0.225 $0.60 >512K $0.45 | $0.06 <=512K $0.045 $0.12 >512K $0.09 |
| Nova Lite 2 Amazon | $0.38 | $0.2128 |
| GLM 5.1 Z.ai | $1.40 <=32K $0.825 $1.40 32K-200K $1.10 | $0.26 <=32K $0.165 $0.26 32K-200K $0.22 |
| Kimi K2.6 Moonshot AI | $0.95$0.8939 | $0.1788 |
| Step 5 Preview StepFun | $1.00 | $0.10 |
| Muse Spark 1.1 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.2 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.3 Meta AI | $1.25 | $1.00 |
| Qwen4 Max Alibaba Cloud | $1.50 | $0.075 |
| StepAudio 2.5 Chat StepFun | $1.50 | $0.30 |
| StepAudio 2.5 Realtime StepFun | $1.50 | $0.30 |
| StepAudio 3 Chat StepFun | $1.50 | $0.30 |
| Fugu Max Sakana AI | $2.00 | $0.25 |
| Kimi K3.1 Pro Moonshot AI | $2.00 | $0.184 |
| Fugu Ultra v1.1 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v2.0 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v1.0 Sakana AI | <=272K $7.50 >272K $15.00 | <=272K $1.50 >272K $3.00 |
不。在支持缓存的模型上,缓存会自动应用于重复的提示前缀。把提示中不变的部分放在开头,这样可以最大限度地发挥它的作用。
缓存输入令牌按模型的缓存读取速率计费,该速率低于其正常输入速率。每个支持缓存的模型都会列出其缓存读取价格。
不。缓存会影响输入的处理和计费方式。模型按常规方式生成输出。
每个响应中的 usage 对象在缓存应用时报告缓存的输入令牌。账户使用API还返回任意时间窗口的缓存命中率,涵盖所有模型或单一模型。