什么是提示缓存?

提示缓存会重用模型之前对提示开头部分的处理。当请求以与最近相同的令牌开始时,这些缓存令牌在列出一个令牌的模型上按较低的缓存读取率计费,其余则按正常输入速率计费。

核心概念

什么是提示缓存

在模型写入任何东西之前,它先处理输入的每一个标记。许多应用程序在每个请求中都会发送相同的开头标记:长的系统提示符、一组工具定义、一份参考文档,或对话的早期轮回。

提示缓存保留该开启部分的处理后结果,称为前缀。当后续请求以完全相同的标记开始时,模型会重复使用缓存前缀,只处理紧随其后的新标记。输出按常规方式生成,缓存改变的是输入的计费方式,而非模型写入的内容。

想象一个助手,他的系统提示和工具定义分别是4000个令牌,随后是一道150个令牌的问题。当从缓存读取开头部分时,大约4,000个输入令牌中约有4,000个按缓存读取速率计费,只有问题按完整输入速率计费。

为什么前缀必须完全匹配

缓存匹配从第一个令牌开始,并在第一个差值处结束。提示符开头附近发生的单个字符变动,如时间戳、用户名或系统提示符中的请求 ID,在从缓存读取后将不再具有意义。提高缓存命中率的方法:

  • 把稳定的内容放在首位。 说明书、工具定义、示例和长篇参考文档放在开头。用户提问、检索的段落以及其他任何修改的内容放在最后。
  • 保持稳定部分完全相同。 工具和示例的顺序相同,每个请求的措辞和空白都一样。
  • 添加而非编辑。 在对话中,每次新回合都加到最后,之前的回合保持不变,这样每个请求都能延续上一个请求。

匹配的前缀意味着缓存读取的可能性,而非确定,所以要测量你的命中率,而不是假设。

缓存输入如何计费EmpirioLabs AI

缓存是自动完成的。无需创建缓存,也无需添加标记:在支持缓存的模型中,重复前缀会自动缓存。

  • 哪些模型。 当模型列出缓存读取价格时,支持提示缓存。本页列出的模型都有此功能。
  • 账单。 缓存输入令牌按缓存读取速率计费,该速率低于模型的正常输入速率。未缓存的输入和所有输出令牌按常规计费率计费。
  • 在目录 API 中。 快去/v1/models 报告费率为 input_cache_read 在 定价.在没有缓存折扣的型号上,它等于正常的输入速率。
  • 在每一条回复中。 当缓存适用时, 用途 例如,报告缓存的令牌 cache_read_input_tokens 关于 /v1/messages (英语) 以及 input_tokens_details.cached_tokens 关于 /v1/responses (英语)。 。 。.
  • 随着时间推移。 该 账户使用API 返回 cache_hit_rate,指在某个时间窗口内,缓存中从缓存中提供的输入令牌份额,涵盖所有模型或针对一个模型。

缓存的代币仍然是输入,因此它们计入 上下文窗口 就像其他任何代币一样。

缓存最能帮助的地方

  • 聊天应用和客服,每回合都会重发不断增长的对话。
  • 许多问题都针对同一个长文档或代码库提出。
  • 带有固定指令块和示例的检索增强生成。
  • 发送多个请求并使用一个共享系统提示符的管道。

当每个提示都与第一个代币不同时,缓存几乎没有什么作用。关于成本方面,请参见 代币的计费方式 以及当前缓存读取速率 定价页面。 。 。.

EmpirioLabs AI 上支持提示缓存的模型

36 个模型在输入费率旁列出了缓存输入费率,实时读取自各自的价目表。

模型输入缓存输入
GLM 4.5 Flash Z.ai免费免费
GLM 4.6V Flash Z.ai免费免费
GLM 4.7 Flash Z.ai免费免费
Qwen3.7 Flash Alibaba Cloud<=32K $0.03 32K-256K $0.10 256K-1M $0.20<=32K $0.006 32K-256K $0.02 256K-1M $0.04
GLM 4.6V FlashX Z.ai$0.04$0.036
Nova Micro 1.0 Amazon$0.040$0.0224
Qwen3.5 4B Alibaba Cloud$0.04$0.02
Gemma 4 26B-A4B Google$0.15$0.05$0.15$0.025
显示全部 36 个模型
模型输入缓存输入
Nova Lite 1.0 Amazon$0.069$0.0386
GLM 4.7 FlashX Z.ai$0.07$0.063
Qwen3.6 35B A3B Alibaba Cloud$0.248$0.07$0.035
Qwen3.5 9B Alibaba Cloud$0.10$0.09$0.045
Step 3.5 Flash StepFun$0.10$0.02
Step 3.5 Flash 2603 StepFun$0.10$0.02
MiniMax M3.1 Flash MiniMax$0.15$0.1125$0.015$0.01125
Qwen3.8 27B Alibaba Cloud$0.45$0.17$0.08
DeepSeek V4.1 Flash 1017 DeepSeek$0.20$0.02
Muse Glimmer 30B Meta AI$0.35$0.20$0.05
Step 3.7 Flash StepFun$0.20$0.04
MiniMax M3 MiniMax$0.30 <=512K $0.225 $0.60 >512K $0.45$0.06 <=512K $0.045 $0.12 >512K $0.09
Nova Lite 2 Amazon$0.38$0.2128
GLM 5.1 Z.ai$1.40 <=32K $0.825 $1.40 32K-200K $1.10$0.26 <=32K $0.165 $0.26 32K-200K $0.22
Kimi K2.6 Moonshot AI$0.95$0.8939$0.1788
Step 5 Preview StepFun$1.00$0.10
Muse Spark 1.1 Meta AI$1.25$1.00
Muse Spark 1.2 Meta AI$1.25$1.00
Muse Spark 1.3 Meta AI$1.25$1.00
Qwen4 Max Alibaba Cloud$1.50$0.075
StepAudio 2.5 Chat StepFun$1.50$0.30
StepAudio 2.5 Realtime StepFun$1.50$0.30
StepAudio 3 Chat StepFun$1.50$0.30
Fugu Max Sakana AI$2.00$0.25
Kimi K3.1 Pro Moonshot AI$2.00$0.184
Fugu Ultra v1.1 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v2.0 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v1.0 Sakana AI<=272K $7.50 >272K $15.00<=272K $1.50 >272K $3.00

常见问题

我需要开启提示缓存吗?

不。在支持缓存的模型上,缓存会自动应用于重复的提示前缀。把提示中不变的部分放在开头,这样可以最大限度地发挥它的作用。

缓存输入的成本是多少?

缓存输入令牌按模型的缓存读取速率计费,该速率低于其正常输入速率。每个支持缓存的模型都会列出其缓存读取价格。

提示缓存会改变模型的答案吗?

不。缓存会影响输入的处理和计费方式。模型按常规方式生成输出。

我如何检查我的请求是否使用了缓存?

每个响应中的 usage 对象在缓存应用时报告缓存的输入令牌。账户使用API还返回任意时间窗口的缓存命中率,涵盖所有模型或单一模型。

准备好使用更好的终端了吗?

查看我们的定价,或者如果你想将自己的模型部署到我们的堆栈中,请联系我们。