El almacenamiento en caché de indicaciones reutiliza el procesamiento anterior que un modelo ha hecho de la parte inicial de un prompt. Cuando una solicitud comienza con los mismos tokens que una reciente, esos tokens almacenados en caché facturan a una tasa de lectura de caché más baja en modelos que listan uno, y el resto factura a la tasa de entrada normal.
Antes de que un modelo escriba algo, procesa cada token de la entrada. Muchas aplicaciones envían los mismos tokens de apertura en cada solicitud: un largo prompt del sistema, un conjunto de definiciones de herramientas, un documento de referencia o los turnos anteriores de una conversación.
El almacenamiento en caché de prompts conserva el resultado procesado de esa parte de apertura, llamado prefijo. Cuando una solicitud posterior comienza con exactamente los mismos tokens, el modelo reutiliza el prefijo almacenado en caché y procesa solo los nuevos tokens que lo siguen. La salida se genera de la manera habitual, por lo que el almacenamiento en caché cambia cómo se factura la entrada, no lo que escribe el modelo.
Consideremos un asistente cuyas definiciones de indicación del sistema y de herramientas suman 4.000 tokens, seguidos de una pregunta de 150 tokens. Cuando esa parte inicial se lee desde la caché, unos 4.000 de los 4.150 tokens de entrada facturan a la tasa de lectura de caché, y solo la pregunta factura a la tasa de entrada completa.
Una coincidencia de caché comienza en el primer token y se detiene en la primera diferencia. Un solo carácter modificado cerca del inicio de un mensaje, como una marca de tiempo, un nombre de usuario o un ID de solicitud en el aviso del sistema, no significa nada después de poder leerse de la caché. Para aumentar tu tasa de acerto en caché:
Un prefijo coincidente hace que una caché sea probable, no con certeza, así que mide tu tasa de acerto en lugar de asumirla.
El almacenamiento en caché es automático. No hay caché que crear ni marcador que añadir: en modelos que lo soportan, los prefijos repetidos se almacenan en caché por sí solos.
¡VE /v1/models informa la tasa como input_cache_read en Precios. En un modelo sin descuento de caché, equivale a la tasa de entrada normal.Uso informa de los tokens almacenados en caché, por ejemplo cache_read_input_tokens en /v1/messages y input_tokens_details.cached_tokens en /v1/responses.cache_hit_rate, la cuota de tokens de entrada servidos desde la caché en una ventana de tiempo, en todos los modelos o para un solo modelo.Los tokens almacenados en caché siguen siendo introducidos, por lo que cuentan para el Ventana de contexto Como cualquier otro token.
El almacenamiento en caché hace poco cuando cada prompt difiere de su primer token. Para el lado del coste, véase Cómo se facturan los tokens y las tasas actuales de lectura de caché en el página de precios.
36 modelos publican una tarifa de entrada en caché junto a su tarifa de entrada, leída en vivo de cada tarjeta de precios.
| Modelo | Entrada | Entrada en caché |
|---|---|---|
| GLM 4.5 Flash Z.ai | Gratis | Gratis |
| GLM 4.6V Flash Z.ai | Gratis | Gratis |
| GLM 4.7 Flash Z.ai | Gratis | Gratis |
| Qwen3.7 Flash Alibaba Cloud | <=32K $0.03 32K-256K $0.10 256K-1M $0.20 | <=32K $0.006 32K-256K $0.02 256K-1M $0.04 |
| GLM 4.6V FlashX Z.ai | $0.04 | $0.036 |
| Nova Micro 1.0 Amazon | $0.040 | $0.0224 |
| Qwen3.5 4B Alibaba Cloud | $0.04 | $0.02 |
| Gemma 4 26B-A4B Google | $0.15$0.05 | $0.15$0.025 |
| Modelo | Entrada | Entrada en caché |
|---|---|---|
| Nova Lite 1.0 Amazon | $0.069 | $0.0386 |
| GLM 4.7 FlashX Z.ai | $0.07 | $0.063 |
| Qwen3.6 35B A3B Alibaba Cloud | $0.248$0.07 | $0.035 |
| Qwen3.5 9B Alibaba Cloud | $0.10$0.09 | $0.045 |
| Step 3.5 Flash StepFun | $0.10 | $0.02 |
| Step 3.5 Flash 2603 StepFun | $0.10 | $0.02 |
| MiniMax M3.1 Flash MiniMax | $0.15$0.1125 | $0.015$0.01125 |
| Qwen3.8 27B Alibaba Cloud | $0.45$0.17 | $0.08 |
| DeepSeek V4.1 Flash 1017 DeepSeek | $0.20 | $0.02 |
| Muse Glimmer 30B Meta AI | $0.35$0.20 | $0.05 |
| Step 3.7 Flash StepFun | $0.20 | $0.04 |
| MiniMax M3 MiniMax | $0.30 <=512K $0.225 $0.60 >512K $0.45 | $0.06 <=512K $0.045 $0.12 >512K $0.09 |
| Nova Lite 2 Amazon | $0.38 | $0.2128 |
| GLM 5.1 Z.ai | $1.40 <=32K $0.825 $1.40 32K-200K $1.10 | $0.26 <=32K $0.165 $0.26 32K-200K $0.22 |
| Kimi K2.6 Moonshot AI | $0.95$0.8939 | $0.1788 |
| Step 5 Preview StepFun | $1.00 | $0.10 |
| Muse Spark 1.1 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.2 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.3 Meta AI | $1.25 | $1.00 |
| Qwen4 Max Alibaba Cloud | $1.50 | $0.075 |
| StepAudio 2.5 Chat StepFun | $1.50 | $0.30 |
| StepAudio 2.5 Realtime StepFun | $1.50 | $0.30 |
| StepAudio 3 Chat StepFun | $1.50 | $0.30 |
| Fugu Max Sakana AI | $2.00 | $0.25 |
| Kimi K3.1 Pro Moonshot AI | $2.00 | $0.184 |
| Fugu Ultra v1.1 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v2.0 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v1.0 Sakana AI | <=272K $7.50 >272K $15.00 | <=272K $1.50 >272K $3.00 |
No. En modelos que lo soportan, el almacenamiento en caché se aplica automáticamente a los prefijos de prompt repetidos. Coloca la parte de tu prompt que no cambia al principio para sacarle el máximo partido.
Los tokens de entrada en caché facturan a la tasa de lectura de caché del modelo, que es inferior a su tasa de entrada normal. Cada modelo que soporta almacenamiento en caché indica su precio de lectura en caché.
No. El almacenamiento en caché afecta a cómo se procesa y factura la entrada. El modelo genera su salida de la manera habitual.
El objeto de uso en cada respuesta informa de los tokens de entrada almacenados en caché cuando se aplica el almacenamiento en caché. La API de Uso de la Cuenta también devuelve una tasa de acerto de caché para cualquier ventana temporal, en todos los modelos o en uno.
Consulta nuestros precios o contacta con nosotros si quieres que tu propio modelo se implemente en nuestra pila.