La mise en cache des invites réutilise le traitement antérieur qu’un modèle a fait de la partie d’ouverture d’une invite. Lorsqu’une requête commence avec les mêmes jetons qu’une requête récente, ces jetons mis en cache facturent à un taux de lecture de cache plus faible sur les modèles qui en listent un, et le reste facture au débit d’entrée normal.
Avant qu’un modèle n’écrive quoi que ce soit, il traite chaque jeton de l’entrée. De nombreuses applications envoient les mêmes jetons d’ouverture à chaque requête: une longue invite système, un ensemble de définitions d’outils, un document de référence ou les premiers tours d’une conversation.
La mise en cache par prompt conserve le résultat traité de cette pièce d’ouverture, appelé le préfixe. Lorsqu’une requête ultérieure commence avec exactement les mêmes jetons, le modèle réutilise le préfixe mis en cache et ne traite que les nouveaux jetons qui le suivent. La sortie est générée de la manière habituelle, donc la mise en cache modifie la facturation de l’entrée, et non ce que le modèle écrit.
Considérons un assistant dont les définitions de prompt système et d’outil atteignent 4 000 jetons, suivis d’une question à 150 jetons. Lorsque cette partie d’ouverture est lue depuis le cache, environ 4 000 des 4 150 jetons d’entrée facturent au taux de lecture du cache, et seule la question facture au débit d’entrée complet.
Une correspondance de cache commence au premier jeton et s’arrête à la première différence. Un seul caractère modifié près du début d’une invite, comme un horodatage, un nom d’utilisateur ou un ID de requête dans l’invite système, ne signifie rien après avoir pu être lu depuis le cache. Pour augmenter votre taux de réussite du cache:
Un préfixe correspondant rend un cache probablement lu, pas certain, donc mesurez votre taux de réussite plutôt que de le supposer.
La mise en cache est automatique. Il n’y a pas de cache à créer ni de marqueur à ajouter: sur les modèles qui le supportent, les préfixes répétés sont mis en cache d’eux-mêmes.
ALLEZ-/v1/models Rapporte le taux comme input_cache_read dans Tarification. Sur un modèle sans réduction de cache, il correspond au débit d’entrée normal.Utilisation rapporte les jetons mis en cache, par exemple cache_read_input_tokens sur /v1/messages et input_tokens_details.cached_tokens sur /v1/responses.cache_hit_rate, la part des jetons d’entrée servis depuis le cache dans une fenêtre temporelle, sur tous les modèles ou pour un seul modèle.Les jetons mis en cache sont toujours saisies, donc ils comptent pour le Fenêtre de contexte Comme n’importe quel autre jeton.
La mise en cache ne fait que peu lorsque chaque invite diffère de son premier jeton. Pour le côté coût, voir Comment les jetons sont facturés et les taux de lecture du cache actuels sur le page de prix.
36 modèles affichent un tarif d'entrée en cache à côté de leur tarif d'entrée, lu en direct sur chaque grille tarifaire.
| Modèle | Entrée | Entrée en cache |
|---|---|---|
| GLM 4.5 Flash Z.ai | Gratuit | Gratuit |
| GLM 4.6V Flash Z.ai | Gratuit | Gratuit |
| GLM 4.7 Flash Z.ai | Gratuit | Gratuit |
| Qwen3.7 Flash Alibaba Cloud | <=32K $0.03 32K-256K $0.10 256K-1M $0.20 | <=32K $0.006 32K-256K $0.02 256K-1M $0.04 |
| GLM 4.6V FlashX Z.ai | $0.04 | $0.036 |
| Nova Micro 1.0 Amazon | $0.040 | $0.0224 |
| Qwen3.5 4B Alibaba Cloud | $0.04 | $0.02 |
| Gemma 4 26B-A4B Google | $0.15$0.05 | $0.15$0.025 |
| Modèle | Entrée | Entrée en cache |
|---|---|---|
| Nova Lite 1.0 Amazon | $0.069 | $0.0386 |
| GLM 4.7 FlashX Z.ai | $0.07 | $0.063 |
| Qwen3.6 35B A3B Alibaba Cloud | $0.248$0.07 | $0.035 |
| Qwen3.5 9B Alibaba Cloud | $0.10$0.09 | $0.045 |
| Step 3.5 Flash StepFun | $0.10 | $0.02 |
| Step 3.5 Flash 2603 StepFun | $0.10 | $0.02 |
| MiniMax M3.1 Flash MiniMax | $0.15$0.1125 | $0.015$0.01125 |
| Qwen3.8 27B Alibaba Cloud | $0.45$0.17 | $0.08 |
| DeepSeek V4.1 Flash 1017 DeepSeek | $0.20 | $0.02 |
| Muse Glimmer 30B Meta AI | $0.35$0.20 | $0.05 |
| Step 3.7 Flash StepFun | $0.20 | $0.04 |
| MiniMax M3 MiniMax | $0.30 <=512K $0.225 $0.60 >512K $0.45 | $0.06 <=512K $0.045 $0.12 >512K $0.09 |
| Nova Lite 2 Amazon | $0.38 | $0.2128 |
| GLM 5.1 Z.ai | $1.40 <=32K $0.825 $1.40 32K-200K $1.10 | $0.26 <=32K $0.165 $0.26 32K-200K $0.22 |
| Kimi K2.6 Moonshot AI | $0.95$0.8939 | $0.1788 |
| Step 5 Preview StepFun | $1.00 | $0.10 |
| Muse Spark 1.1 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.2 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.3 Meta AI | $1.25 | $1.00 |
| Qwen4 Max Alibaba Cloud | $1.50 | $0.075 |
| StepAudio 2.5 Chat StepFun | $1.50 | $0.30 |
| StepAudio 2.5 Realtime StepFun | $1.50 | $0.30 |
| StepAudio 3 Chat StepFun | $1.50 | $0.30 |
| Fugu Max Sakana AI | $2.00 | $0.25 |
| Kimi K3.1 Pro Moonshot AI | $2.00 | $0.184 |
| Fugu Ultra v1.1 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v2.0 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v1.0 Sakana AI | <=272K $7.50 >272K $15.00 | <=272K $1.50 >272K $3.00 |
Non. Sur les modèles qui le supportent, la mise en cache s’applique automatiquement aux préfixes répétés de prompt. Placez la partie de votre invite qui ne change pas au début pour en tirer le maximum.
Les jetons d’entrée mis en cache facturent au taux de lecture cache du modèle, qui est inférieur à son débit d’entrée normal. Chaque modèle qui supporte la mise en cache indique son prix de lecture cache.
Non. Le caching influence la manière dont l’entrée est traitée et facturée. Le modèle génère sa sortie de la manière habituelle.
L’objet d’utilisation dans chaque réponse rapporte les jetons d’entrée mis en cache lorsque la mise en cache s’applique. L’API d’utilisation du compte renvoie également un taux de réussite du cache pour n’importe quelle fenêtre temporelle, sur tous les modèles ou pour un seul.
Consultez nos tarifs ou contactez-nous si vous souhaitez que votre propre modèle soit déployé sur notre stack.