¿Qué es el caché de prompts?

El almacenamiento en caché de indicaciones reutiliza el procesamiento anterior que un modelo ha hecho de la parte inicial de un prompt. Cuando una solicitud comienza con los mismos tokens que una reciente, esos tokens almacenados en caché facturan a una tasa de lectura de caché más baja en modelos que listan uno, y el resto factura a la tasa de entrada normal.

Conceptos

Qué es el almacenamiento en caché de avisos

Antes de que un modelo escriba algo, procesa cada token de la entrada. Muchas aplicaciones envían los mismos tokens de apertura en cada solicitud: un largo prompt del sistema, un conjunto de definiciones de herramientas, un documento de referencia o los turnos anteriores de una conversación.

El almacenamiento en caché de prompts conserva el resultado procesado de esa parte de apertura, llamado prefijo. Cuando una solicitud posterior comienza con exactamente los mismos tokens, el modelo reutiliza el prefijo almacenado en caché y procesa solo los nuevos tokens que lo siguen. La salida se genera de la manera habitual, por lo que el almacenamiento en caché cambia cómo se factura la entrada, no lo que escribe el modelo.

Consideremos un asistente cuyas definiciones de indicación del sistema y de herramientas suman 4.000 tokens, seguidos de una pregunta de 150 tokens. Cuando esa parte inicial se lee desde la caché, unos 4.000 de los 4.150 tokens de entrada facturan a la tasa de lectura de caché, y solo la pregunta factura a la tasa de entrada completa.

Por qué el prefijo debe coincidir exactamente

Una coincidencia de caché comienza en el primer token y se detiene en la primera diferencia. Un solo carácter modificado cerca del inicio de un mensaje, como una marca de tiempo, un nombre de usuario o un ID de solicitud en el aviso del sistema, no significa nada después de poder leerse de la caché. Para aumentar tu tasa de acerto en caché:

  • Pon primero el contenido estable. Las instrucciones, definiciones de herramientas, ejemplos y documentos de referencia extensos van al principio. La pregunta del usuario, los pasajes recuperados y cualquier otra cosa que cambie van al final.
  • Mantén la pieza estable idéntica. Usa el mismo orden para herramientas y ejemplos, la misma redacción y el mismo espacio en blanco en cada solicitud.
  • Añade en lugar de editar. En una conversación, añade cada turno nuevo al final y deja los turnos anteriores sin cambios, para que cada petición amplíe el anterior.

Un prefijo coincidente hace que una caché sea probable, no con certeza, así que mide tu tasa de acerto en lugar de asumirla.

Cómo se factura la entrada en caché en EmpirioLabs AI

El almacenamiento en caché es automático. No hay caché que crear ni marcador que añadir: en modelos que lo soportan, los prefijos repetidos se almacenan en caché por sí solos.

  • ¿Qué modelos? Un modelo soporta almacenamiento en caché de avisos cuando indica un precio de lectura en caché. Los modelos listados en esta página tienen uno.
  • Facturación. Los tokens de entrada en caché facturan a la tasa de lectura de la caché, que es inferior a la tasa de entrada normal del modelo. Los tokens de entrada sin caché y todos los tokens de salida facturan a las tasas habituales.
  • En la API del catálogo. ¡VE /v1/models informa la tasa como input_cache_read en Precios. En un modelo sin descuento de caché, equivale a la tasa de entrada normal.
  • En cada respuesta. Cuando se aplica la caché, Uso informa de los tokens almacenados en caché, por ejemplo cache_read_input_tokens en /v1/messages y input_tokens_details.cached_tokens en /v1/responses.
  • Con el tiempo. El API de Uso de Cuentas Retornos cache_hit_rate, la cuota de tokens de entrada servidos desde la caché en una ventana de tiempo, en todos los modelos o para un solo modelo.

Los tokens almacenados en caché siguen siendo introducidos, por lo que cuentan para el Ventana de contexto Como cualquier otro token.

Donde el almacenamiento en caché es más útil

  • Aplicaciones de chat y agentes que reenvían una conversación creciente a cada turno.
  • Muchas preguntas se planteaban frente al mismo documento extenso o base de código.
  • Generación aumentada por recuperación con un bloque fijo de instrucciones y ejemplos.
  • Canallas que envían muchas solicitudes con un único aviso compartido del sistema.

El almacenamiento en caché hace poco cuando cada prompt difiere de su primer token. Para el lado del coste, véase Cómo se facturan los tokens y las tasas actuales de lectura de caché en el página de precios.

Modelos con caché de prompts en EmpirioLabs AI

36 modelos publican una tarifa de entrada en caché junto a su tarifa de entrada, leída en vivo de cada tarjeta de precios.

ModeloEntradaEntrada en caché
GLM 4.5 Flash Z.aiGratisGratis
GLM 4.6V Flash Z.aiGratisGratis
GLM 4.7 Flash Z.aiGratisGratis
Qwen3.7 Flash Alibaba Cloud<=32K $0.03 32K-256K $0.10 256K-1M $0.20<=32K $0.006 32K-256K $0.02 256K-1M $0.04
GLM 4.6V FlashX Z.ai$0.04$0.036
Nova Micro 1.0 Amazon$0.040$0.0224
Qwen3.5 4B Alibaba Cloud$0.04$0.02
Gemma 4 26B-A4B Google$0.15$0.05$0.15$0.025
Ver los 36 modelos
ModeloEntradaEntrada en caché
Nova Lite 1.0 Amazon$0.069$0.0386
GLM 4.7 FlashX Z.ai$0.07$0.063
Qwen3.6 35B A3B Alibaba Cloud$0.248$0.07$0.035
Qwen3.5 9B Alibaba Cloud$0.10$0.09$0.045
Step 3.5 Flash StepFun$0.10$0.02
Step 3.5 Flash 2603 StepFun$0.10$0.02
MiniMax M3.1 Flash MiniMax$0.15$0.1125$0.015$0.01125
Qwen3.8 27B Alibaba Cloud$0.45$0.17$0.08
DeepSeek V4.1 Flash 1017 DeepSeek$0.20$0.02
Muse Glimmer 30B Meta AI$0.35$0.20$0.05
Step 3.7 Flash StepFun$0.20$0.04
MiniMax M3 MiniMax$0.30 <=512K $0.225 $0.60 >512K $0.45$0.06 <=512K $0.045 $0.12 >512K $0.09
Nova Lite 2 Amazon$0.38$0.2128
GLM 5.1 Z.ai$1.40 <=32K $0.825 $1.40 32K-200K $1.10$0.26 <=32K $0.165 $0.26 32K-200K $0.22
Kimi K2.6 Moonshot AI$0.95$0.8939$0.1788
Step 5 Preview StepFun$1.00$0.10
Muse Spark 1.1 Meta AI$1.25$1.00
Muse Spark 1.2 Meta AI$1.25$1.00
Muse Spark 1.3 Meta AI$1.25$1.00
Qwen4 Max Alibaba Cloud$1.50$0.075
StepAudio 2.5 Chat StepFun$1.50$0.30
StepAudio 2.5 Realtime StepFun$1.50$0.30
StepAudio 3 Chat StepFun$1.50$0.30
Fugu Max Sakana AI$2.00$0.25
Kimi K3.1 Pro Moonshot AI$2.00$0.184
Fugu Ultra v1.1 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v2.0 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v1.0 Sakana AI<=272K $7.50 >272K $15.00<=272K $1.50 >272K $3.00

Preguntas frecuentes

¿Necesito activar el almacenamiento en caché de avisos?

No. En modelos que lo soportan, el almacenamiento en caché se aplica automáticamente a los prefijos de prompt repetidos. Coloca la parte de tu prompt que no cambia al principio para sacarle el máximo partido.

¿Cuánto cuesta la entrada en caché?

Los tokens de entrada en caché facturan a la tasa de lectura de caché del modelo, que es inferior a su tasa de entrada normal. Cada modelo que soporta almacenamiento en caché indica su precio de lectura en caché.

¿El almacenamiento en caché de avisos cambia la respuesta del modelo?

No. El almacenamiento en caché afecta a cómo se procesa y factura la entrada. El modelo genera su salida de la manera habitual.

¿Cómo puedo comprobar si mis solicitudes utilizan la caché?

El objeto de uso en cada respuesta informa de los tokens de entrada almacenados en caché cuando se aplica el almacenamiento en caché. La API de Uso de la Cuenta también devuelve una tasa de acerto de caché para cualquier ventana temporal, en todos los modelos o en uno.

¿Listo para usar mejores endpoints?

Consulta nuestros precios o contacta con nosotros si quieres que tu propio modelo se implemente en nuestra pila.