O cache de prompts reutiliza o processamento anterior de um modelo da parte de abertura de um prompt. Quando uma solicitação começa com os mesmos tokens que uma recente, esses tokens em cache faturam com uma taxa de leitura de cache menor em modelos que listam um, e o restante fatura com a taxa normal de entrada.
Antes de um modelo escrever qualquer coisa, ele processa cada token da entrada. Muitas aplicações enviam os mesmos tokens de abertura em cada solicitação: um longo prompt do sistema, um conjunto de definições de ferramentas, um documento de referência ou as primeiras fases de uma conversa.
O cache de prompt mantém o resultado processado daquela parte de abertura, chamado de prefixo. Quando uma solicitação posterior começa com exatamente os mesmos tokens, o modelo reutiliza o prefixo em cache e processa apenas os novos tokens que o seguem. A saída é gerada da forma usual, então o cache muda a forma como a entrada é cobrada, não o que o modelo escreve.
Considere um assistente cujas definições de prompt e ferramenta do sistema somam 4.000 tokens, seguidos por uma pergunta com 150 tokens. Quando essa parte de abertura é lida do cache, cerca de 4.000 dos 4.150 tokens de entrada faturam na taxa de leitura do cache, e somente a pergunta fatura na taxa de entrada completa.
Uma correspondência de cache começa no primeiro token e termina na primeira diferença. Um único caractere alterado perto do início de um prompt, como timestamp, nome de usuário ou ID de solicitação no prompt do sistema, não significa nada depois de poder ser lido do cache. Para aumentar sua taxa de acerto no cache:
Um prefixo correspondente torna o cache provável, não com certeza, então meça sua taxa de acerto em vez de assumir isso.
O cache é automático. Não há cache para criar nem marcador para adicionar: em modelos que o suportam, prefixos repetidos são armazenados em cache sozinhos.
VÁ /v1/models Reporta a taxa como input_cache_read em Preços. Em um modelo sem desconto de cache, ela equivale à taxa normal de entrada.Uso Reporta os tokens em cache, por exemplo cache_read_input_tokens em /v1/messages e input_tokens_details.cached_tokens em /v1/responses.cache_hit_rate, a parcela de tokens de entrada servidos a partir do cache em uma janela de tempo, em todos os modelos ou para um único modelo.Os tokens em cache ainda são inseridos, portanto contam para o janela de contexto Como qualquer outro token.
O cache faz pouco quando cada prompt difere do seu primeiro token. Para o lado do custo, veja Como os tokens são faturados e as taxas atuais de leitura do cache no página de preços.
36 modelos publicam uma tarifa de entrada em cache ao lado da tarifa de entrada, lida ao vivo de cada tabela de preços.
| Modelo | Entrada | Entrada em cache |
|---|---|---|
| GLM 4.5 Flash Z.ai | Grátis | Grátis |
| GLM 4.6V Flash Z.ai | Grátis | Grátis |
| GLM 4.7 Flash Z.ai | Grátis | Grátis |
| Qwen3.7 Flash Alibaba Cloud | <=32K $0.03 32K-256K $0.10 256K-1M $0.20 | <=32K $0.006 32K-256K $0.02 256K-1M $0.04 |
| GLM 4.6V FlashX Z.ai | $0.04 | $0.036 |
| Nova Micro 1.0 Amazon | $0.040 | $0.0224 |
| Qwen3.5 4B Alibaba Cloud | $0.04 | $0.02 |
| Gemma 4 26B-A4B Google | $0.15$0.05 | $0.15$0.025 |
| Modelo | Entrada | Entrada em cache |
|---|---|---|
| Nova Lite 1.0 Amazon | $0.069 | $0.0386 |
| GLM 4.7 FlashX Z.ai | $0.07 | $0.063 |
| Qwen3.6 35B A3B Alibaba Cloud | $0.248$0.07 | $0.035 |
| Qwen3.5 9B Alibaba Cloud | $0.10$0.09 | $0.045 |
| Step 3.5 Flash StepFun | $0.10 | $0.02 |
| Step 3.5 Flash 2603 StepFun | $0.10 | $0.02 |
| MiniMax M3.1 Flash MiniMax | $0.15$0.1125 | $0.015$0.01125 |
| Qwen3.8 27B Alibaba Cloud | $0.45$0.17 | $0.08 |
| DeepSeek V4.1 Flash 1017 DeepSeek | $0.20 | $0.02 |
| Muse Glimmer 30B Meta AI | $0.35$0.20 | $0.05 |
| Step 3.7 Flash StepFun | $0.20 | $0.04 |
| MiniMax M3 MiniMax | $0.30 <=512K $0.225 $0.60 >512K $0.45 | $0.06 <=512K $0.045 $0.12 >512K $0.09 |
| Nova Lite 2 Amazon | $0.38 | $0.2128 |
| GLM 5.1 Z.ai | $1.40 <=32K $0.825 $1.40 32K-200K $1.10 | $0.26 <=32K $0.165 $0.26 32K-200K $0.22 |
| Kimi K2.6 Moonshot AI | $0.95$0.8939 | $0.1788 |
| Step 5 Preview StepFun | $1.00 | $0.10 |
| Muse Spark 1.1 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.2 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.3 Meta AI | $1.25 | $1.00 |
| Qwen4 Max Alibaba Cloud | $1.50 | $0.075 |
| StepAudio 2.5 Chat StepFun | $1.50 | $0.30 |
| StepAudio 2.5 Realtime StepFun | $1.50 | $0.30 |
| StepAudio 3 Chat StepFun | $1.50 | $0.30 |
| Fugu Max Sakana AI | $2.00 | $0.25 |
| Kimi K3.1 Pro Moonshot AI | $2.00 | $0.184 |
| Fugu Ultra v1.1 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v2.0 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v1.0 Sakana AI | <=272K $7.50 >272K $15.00 | <=272K $1.50 >272K $3.00 |
Não. Em modelos que suportam isso, o cache se aplica automaticamente a prefixos de prompt repetidos. Coloque a parte do prompt que não muda no início para tirar o máximo proveito dela.
Os tokens de entrada em cache faturam pela taxa de leitura do cache do modelo, que é inferior à sua taxa de entrada normal. Cada modelo que suporta cache informa seu preço de leitura no cache.
Não. O cache afeta como a entrada é processada e faturada. O modelo gera sua saída da maneira usual.
O objeto de uso em cada resposta reporta tokens de entrada armazenados em cache quando o cache se aplica. A API de Uso da Conta também retorna uma taxa de acerto no cache para qualquer janela de tempo, em todos os modelos ou em um só.
Confira nossos preços ou entre em contato se quiser que seu próprio modelo seja implementado em nossa pilha.