O que é prompt caching?

O cache de prompts reutiliza o processamento anterior de um modelo da parte de abertura de um prompt. Quando uma solicitação começa com os mesmos tokens que uma recente, esses tokens em cache faturam com uma taxa de leitura de cache menor em modelos que listam um, e o restante fatura com a taxa normal de entrada.

Conceitos

O que é o cache de prompts

Antes de um modelo escrever qualquer coisa, ele processa cada token da entrada. Muitas aplicações enviam os mesmos tokens de abertura em cada solicitação: um longo prompt do sistema, um conjunto de definições de ferramentas, um documento de referência ou as primeiras fases de uma conversa.

O cache de prompt mantém o resultado processado daquela parte de abertura, chamado de prefixo. Quando uma solicitação posterior começa com exatamente os mesmos tokens, o modelo reutiliza o prefixo em cache e processa apenas os novos tokens que o seguem. A saída é gerada da forma usual, então o cache muda a forma como a entrada é cobrada, não o que o modelo escreve.

Considere um assistente cujas definições de prompt e ferramenta do sistema somam 4.000 tokens, seguidos por uma pergunta com 150 tokens. Quando essa parte de abertura é lida do cache, cerca de 4.000 dos 4.150 tokens de entrada faturam na taxa de leitura do cache, e somente a pergunta fatura na taxa de entrada completa.

Por que o prefixo deve corresponder exatamente

Uma correspondência de cache começa no primeiro token e termina na primeira diferença. Um único caractere alterado perto do início de um prompt, como timestamp, nome de usuário ou ID de solicitação no prompt do sistema, não significa nada depois de poder ser lido do cache. Para aumentar sua taxa de acerto no cache:

  • Coloque o conteúdo estável em primeiro lugar. Instruções, definições de ferramentas, exemplos e documentos de referência longos vão no início. A pergunta do usuário, passagens recuperadas e qualquer outra coisa que mude vão no final.
  • Mantenha a peça estável idêntica. Use a mesma ordem para ferramentas e exemplos, a mesma redação e o mesmo espaço em branco em cada solicitação.
  • Adicione em vez de editar. Em uma conversa, adicione cada novo turno no final e deixe os turnos anteriores inalterados, para que cada pedido estenda o anterior.

Um prefixo correspondente torna o cache provável, não com certeza, então meça sua taxa de acerto em vez de assumir isso.

Como a entrada em cache é cobrada no EmpirioLabs AI

O cache é automático. Não há cache para criar nem marcador para adicionar: em modelos que o suportam, prefixos repetidos são armazenados em cache sozinhos.

  • Quais modelos. Um modelo suporta cache de prompt quando lista um preço de leitura de cache. Os modelos listados nesta página possuem um.
  • Faturamento. Tokens de entrada em cache faturam à taxa de leitura do cache, que é inferior à taxa de entrada normal do modelo. Entrada não armazenada em cache e todos os tokens de saída faturam às taxas habituais.
  • Na API do catálogo. VÁ /v1/models Reporta a taxa como input_cache_read em Preços. Em um modelo sem desconto de cache, ela equivale à taxa normal de entrada.
  • Em cada resposta. Quando o cache se aplica, Uso Reporta os tokens em cache, por exemplo cache_read_input_tokens em /v1/messages e input_tokens_details.cached_tokens em /v1/responses.
  • Com o tempo. O API de Uso de Contas retorna cache_hit_rate, a parcela de tokens de entrada servidos a partir do cache em uma janela de tempo, em todos os modelos ou para um único modelo.

Os tokens em cache ainda são inseridos, portanto contam para o janela de contexto Como qualquer outro token.

Onde o cache mais ajuda

  • Aplicativos de chat e agentes que reenviam uma conversa crescente a cada turno.
  • Muitas perguntas feitas diante do mesmo documento longo ou base de código.
  • Geração aumentada por recuperação com um bloco fixo de instruções e exemplos.
  • Pipelines que enviam muitas solicitações com um único prompt compartilhado do sistema.

O cache faz pouco quando cada prompt difere do seu primeiro token. Para o lado do custo, veja Como os tokens são faturados e as taxas atuais de leitura do cache no página de preços.

Modelos com cache de prompt no EmpirioLabs AI

36 modelos publicam uma tarifa de entrada em cache ao lado da tarifa de entrada, lida ao vivo de cada tabela de preços.

ModeloEntradaEntrada em cache
GLM 4.5 Flash Z.aiGrátisGrátis
GLM 4.6V Flash Z.aiGrátisGrátis
GLM 4.7 Flash Z.aiGrátisGrátis
Qwen3.7 Flash Alibaba Cloud<=32K $0.03 32K-256K $0.10 256K-1M $0.20<=32K $0.006 32K-256K $0.02 256K-1M $0.04
GLM 4.6V FlashX Z.ai$0.04$0.036
Nova Micro 1.0 Amazon$0.040$0.0224
Qwen3.5 4B Alibaba Cloud$0.04$0.02
Gemma 4 26B-A4B Google$0.15$0.05$0.15$0.025
Ver todos os 36 modelos
ModeloEntradaEntrada em cache
Nova Lite 1.0 Amazon$0.069$0.0386
GLM 4.7 FlashX Z.ai$0.07$0.063
Qwen3.6 35B A3B Alibaba Cloud$0.248$0.07$0.035
Qwen3.5 9B Alibaba Cloud$0.10$0.09$0.045
Step 3.5 Flash StepFun$0.10$0.02
Step 3.5 Flash 2603 StepFun$0.10$0.02
MiniMax M3.1 Flash MiniMax$0.15$0.1125$0.015$0.01125
Qwen3.8 27B Alibaba Cloud$0.45$0.17$0.08
DeepSeek V4.1 Flash 1017 DeepSeek$0.20$0.02
Muse Glimmer 30B Meta AI$0.35$0.20$0.05
Step 3.7 Flash StepFun$0.20$0.04
MiniMax M3 MiniMax$0.30 <=512K $0.225 $0.60 >512K $0.45$0.06 <=512K $0.045 $0.12 >512K $0.09
Nova Lite 2 Amazon$0.38$0.2128
GLM 5.1 Z.ai$1.40 <=32K $0.825 $1.40 32K-200K $1.10$0.26 <=32K $0.165 $0.26 32K-200K $0.22
Kimi K2.6 Moonshot AI$0.95$0.8939$0.1788
Step 5 Preview StepFun$1.00$0.10
Muse Spark 1.1 Meta AI$1.25$1.00
Muse Spark 1.2 Meta AI$1.25$1.00
Muse Spark 1.3 Meta AI$1.25$1.00
Qwen4 Max Alibaba Cloud$1.50$0.075
StepAudio 2.5 Chat StepFun$1.50$0.30
StepAudio 2.5 Realtime StepFun$1.50$0.30
StepAudio 3 Chat StepFun$1.50$0.30
Fugu Max Sakana AI$2.00$0.25
Kimi K3.1 Pro Moonshot AI$2.00$0.184
Fugu Ultra v1.1 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v2.0 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v1.0 Sakana AI<=272K $7.50 >272K $15.00<=272K $1.50 >272K $3.00

Perguntas frequentes

Preciso ativar o cache de prompts?

Não. Em modelos que suportam isso, o cache se aplica automaticamente a prefixos de prompt repetidos. Coloque a parte do prompt que não muda no início para tirar o máximo proveito dela.

Quanto custa a entrada em cache?

Os tokens de entrada em cache faturam pela taxa de leitura do cache do modelo, que é inferior à sua taxa de entrada normal. Cada modelo que suporta cache informa seu preço de leitura no cache.

O cache de prompts muda a resposta do modelo?

Não. O cache afeta como a entrada é processada e faturada. O modelo gera sua saída da maneira usual.

Como posso verificar se minhas requisições usam o cache?

O objeto de uso em cada resposta reporta tokens de entrada armazenados em cache quando o cache se aplica. A API de Uso da Conta também retorna uma taxa de acerto no cache para qualquer janela de tempo, em todos os modelos ou em um só.

Pronto para usar endpoints melhores?

Confira nossos preços ou entre em contato se quiser que seu próprio modelo seja implementado em nossa pilha.