Qu’est-ce que le prompt caching ?

La mise en cache des invites réutilise le traitement antérieur qu’un modèle a fait de la partie d’ouverture d’une invite. Lorsqu’une requête commence avec les mêmes jetons qu’une requête récente, ces jetons mis en cache facturent à un taux de lecture de cache plus faible sur les modèles qui en listent un, et le reste facture au débit d’entrée normal.

Concepts

Qu’est-ce que la mise en cache des prompts

Avant qu’un modèle n’écrive quoi que ce soit, il traite chaque jeton de l’entrée. De nombreuses applications envoient les mêmes jetons d’ouverture à chaque requête: une longue invite système, un ensemble de définitions d’outils, un document de référence ou les premiers tours d’une conversation.

La mise en cache par prompt conserve le résultat traité de cette pièce d’ouverture, appelé le préfixe. Lorsqu’une requête ultérieure commence avec exactement les mêmes jetons, le modèle réutilise le préfixe mis en cache et ne traite que les nouveaux jetons qui le suivent. La sortie est générée de la manière habituelle, donc la mise en cache modifie la facturation de l’entrée, et non ce que le modèle écrit.

Considérons un assistant dont les définitions de prompt système et d’outil atteignent 4 000 jetons, suivis d’une question à 150 jetons. Lorsque cette partie d’ouverture est lue depuis le cache, environ 4 000 des 4 150 jetons d’entrée facturent au taux de lecture du cache, et seule la question facture au débit d’entrée complet.

Pourquoi le préfixe doit correspondre exactement

Une correspondance de cache commence au premier jeton et s’arrête à la première différence. Un seul caractère modifié près du début d’une invite, comme un horodatage, un nom d’utilisateur ou un ID de requête dans l’invite système, ne signifie rien après avoir pu être lu depuis le cache. Pour augmenter votre taux de réussite du cache:

  • Mettez le contenu stable en premier. Les instructions, les définitions d’outils, les exemples et les longs documents de référence vont au début. La question de l’utilisateur, les passages récupérés et tout autre changement vont à la fin.
  • Gardez la pièce stable identique. Utilisez le même ordre pour les outils et les exemples, la même formulation et le même espace blanc pour chaque requête.
  • Ajouter au lieu de modifier. Dans une conversation, ajoutez chaque nouveau tour à la fin et laissez les tours précédents inchangés, afin que chaque demande prolonge le précédent.

Un préfixe correspondant rend un cache probablement lu, pas certain, donc mesurez votre taux de réussite plutôt que de le supposer.

Comment l’entrée mise en cache est facturée sur EmpirioLabs AI

La mise en cache est automatique. Il n’y a pas de cache à créer ni de marqueur à ajouter: sur les modèles qui le supportent, les préfixes répétés sont mis en cache d’eux-mêmes.

  • Quels modèles. Un modèle prend en charge la mise en cache par prompt lorsqu’il affiche un prix de lecture cache. Les modèles listés sur cette page en ont un.
  • Facturation. Les jetons d’entrée mis en cache facturent au taux de lecture du cache, qui est inférieur au débit d’entrée normal du modèle. Les jetons d’entrée non mis en cache et tous les jetons de sortie facturent aux débits habituels.
  • Dans l’API du catalogue. ALLEZ-/v1/models Rapporte le taux comme input_cache_read dans Tarification. Sur un modèle sans réduction de cache, il correspond au débit d’entrée normal.
  • Dans chaque réponse. Lorsque la mise en cache s’applique, Utilisation rapporte les jetons mis en cache, par exemple cache_read_input_tokens sur /v1/messages et input_tokens_details.cached_tokens sur /v1/responses.
  • Avec le temps. Le API d’utilisation des comptes Retour cache_hit_rate, la part des jetons d’entrée servis depuis le cache dans une fenêtre temporelle, sur tous les modèles ou pour un seul modèle.

Les jetons mis en cache sont toujours saisies, donc ils comptent pour le Fenêtre de contexte Comme n’importe quel autre jeton.

Là où la mise en cache aide le plus

  • Des applications de chat et des agents qui réenvoient une conversation croissante à chaque tournant.
  • Beaucoup de questions posées sur le même long document ou même base de code.
  • Génération augmentée par récupération avec un bloc fixe d’instructions et d’exemples.
  • Pipelines qui envoient de nombreuses requêtes avec un seul prompt système partagé.

La mise en cache ne fait que peu lorsque chaque invite diffère de son premier jeton. Pour le côté coût, voir Comment les jetons sont facturés et les taux de lecture du cache actuels sur le page de prix.

Modèles avec cache de prompt sur EmpirioLabs AI

36 modèles affichent un tarif d'entrée en cache à côté de leur tarif d'entrée, lu en direct sur chaque grille tarifaire.

ModèleEntréeEntrée en cache
GLM 4.5 Flash Z.aiGratuitGratuit
GLM 4.6V Flash Z.aiGratuitGratuit
GLM 4.7 Flash Z.aiGratuitGratuit
Qwen3.7 Flash Alibaba Cloud<=32K $0.03 32K-256K $0.10 256K-1M $0.20<=32K $0.006 32K-256K $0.02 256K-1M $0.04
GLM 4.6V FlashX Z.ai$0.04$0.036
Nova Micro 1.0 Amazon$0.040$0.0224
Qwen3.5 4B Alibaba Cloud$0.04$0.02
Gemma 4 26B-A4B Google$0.15$0.05$0.15$0.025
Afficher les 36 modèles
ModèleEntréeEntrée en cache
Nova Lite 1.0 Amazon$0.069$0.0386
GLM 4.7 FlashX Z.ai$0.07$0.063
Qwen3.6 35B A3B Alibaba Cloud$0.248$0.07$0.035
Qwen3.5 9B Alibaba Cloud$0.10$0.09$0.045
Step 3.5 Flash StepFun$0.10$0.02
Step 3.5 Flash 2603 StepFun$0.10$0.02
MiniMax M3.1 Flash MiniMax$0.15$0.1125$0.015$0.01125
Qwen3.8 27B Alibaba Cloud$0.45$0.17$0.08
DeepSeek V4.1 Flash 1017 DeepSeek$0.20$0.02
Muse Glimmer 30B Meta AI$0.35$0.20$0.05
Step 3.7 Flash StepFun$0.20$0.04
MiniMax M3 MiniMax$0.30 <=512K $0.225 $0.60 >512K $0.45$0.06 <=512K $0.045 $0.12 >512K $0.09
Nova Lite 2 Amazon$0.38$0.2128
GLM 5.1 Z.ai$1.40 <=32K $0.825 $1.40 32K-200K $1.10$0.26 <=32K $0.165 $0.26 32K-200K $0.22
Kimi K2.6 Moonshot AI$0.95$0.8939$0.1788
Step 5 Preview StepFun$1.00$0.10
Muse Spark 1.1 Meta AI$1.25$1.00
Muse Spark 1.2 Meta AI$1.25$1.00
Muse Spark 1.3 Meta AI$1.25$1.00
Qwen4 Max Alibaba Cloud$1.50$0.075
StepAudio 2.5 Chat StepFun$1.50$0.30
StepAudio 2.5 Realtime StepFun$1.50$0.30
StepAudio 3 Chat StepFun$1.50$0.30
Fugu Max Sakana AI$2.00$0.25
Kimi K3.1 Pro Moonshot AI$2.00$0.184
Fugu Ultra v1.1 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v2.0 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v1.0 Sakana AI<=272K $7.50 >272K $15.00<=272K $1.50 >272K $3.00

Questions fréquentes

Dois-je activer la mise en cache des prompts ?

Non. Sur les modèles qui le supportent, la mise en cache s’applique automatiquement aux préfixes répétés de prompt. Placez la partie de votre invite qui ne change pas au début pour en tirer le maximum.

Combien coûte l’entrée mise en cache ?

Les jetons d’entrée mis en cache facturent au taux de lecture cache du modèle, qui est inférieur à son débit d’entrée normal. Chaque modèle qui supporte la mise en cache indique son prix de lecture cache.

Le caching des prompts change-t-il la réponse du modèle ?

Non. Le caching influence la manière dont l’entrée est traitée et facturée. Le modèle génère sa sortie de la manière habituelle.

Comment puis-je vérifier si mes requêtes utilisent le cache ?

L’objet d’utilisation dans chaque réponse rapporte les jetons d’entrée mis en cache lorsque la mise en cache s’applique. L’API d’utilisation du compte renvoie également un taux de réussite du cache pour n’importe quelle fenêtre temporelle, sur tous les modèles ou pour un seul.

Prêt à utiliser de meilleurs points de terminaison ?

Consultez nos tarifs ou contactez-nous si vous souhaitez que votre propre modèle soit déployé sur notre stack.