Prompt-Caching verwendet die frühere Verarbeitung des Eröffnungsteils eines Prompts durch ein Modell wieder. Wenn eine Anfrage mit denselben Tokens wie eine kürzlich gestartete beginnt, werden diese zwischengespeicherten Token auf Modellen, die einen angeben, mit einer niedrigeren Cache-Leserate abgerechnet, und der Rest wird mit der normalen Eingaberate abgerechnet.
Bevor ein Modell etwas schreibt, verarbeitet es jedes einzelne Token der Eingabe. Viele Anwendungen senden bei jeder Anfrage dieselben Eröffnungstoken: einen langen Systemprompt, eine Reihe von Werkzeugdefinitionen, ein Referenzdokument oder die früheren Wendungen eines Gesprächs.
Prompt-Caching behält das verarbeitete Ergebnis dieses öffnenden Teils, das als Präfix bezeichnet wird. Wenn eine spätere Anfrage mit exakt denselben Tokens beginnt, verwendet das Modell das zwischengespeicherte Präfix wieder und verarbeitet nur die neuen Token, die darauf folgen. Die Ausgabe wird auf die übliche Weise generiert, sodass das Caching die Art und Weise verändert, wie die Eingabe abgerechnet wird, nicht das, was das Modell schreibt.
Stellen Sie sich einen Assistenten vor, dessen System-Prompt und Tool-Definitionen 4.000 Token umfassen, gefolgt von einer Frage mit 150 Token. Wenn dieser eröffnende Teil aus dem Cache gelesen wird, werden etwa 4.000 der 4.150 Eingabetoken mit der Cache-Leserate abgerechnet, und nur die Frage wird mit der vollen Eingaberate abgerechnet.
Ein Cache-Match beginnt beim ersten Token und endet bei der ersten Differenz. Ein einzelnes geändertes Zeichen nahe dem Beginn einer Aufforderung, wie etwa ein Zeitstempel, ein Benutzername oder eine Anfrage-ID im Systemprompt, bedeutet nichts, nachdem es aus dem Cache gelesen werden kann. Um Ihre Cache-Trefferrate zu erhöhen:
Ein passendes Präfix macht einen Cache-Lesen wahrscheinlich, aber nicht sicher, also messe deine Trefferrate statt sie anzunehmen.
Caching erfolgt automatisch. Es gibt keinen Cache zu erstellen und keinen Marker hinzuzufügen: Bei Modellen, die ihn unterstützen, werden wiederholte Präfixe von selbst zwischengespeichert.
GEH /v1/models meldet den Satz als input_cache_read in Preisgestaltung. Bei einem Modell ohne Cache-Rabatt entspricht es der normalen Eingaberate.Verwendung meldet zum Beispiel die zwischengespeicherten Token cache_read_input_tokens auf /v1/messages und input_tokens_details.cached_tokens auf /v1/responses.cache_hit_rate, der Anteil an Eingabetoken, die aus dem Cache in einem Zeitfenster ausgeliefert werden, über alle Modelle hinweg oder für ein Modell.Zwischengespeicherte Token werden weiterhin eingegeben, sie zählen daher für die Kontextfenster Wie jedes andere Token.
Caching bewirkt wenig, wenn sich jeder Prompt von seinem ersten Token unterscheidet. Für die Kostenseite siehe Wie Token abgerechnet werden und die aktuellen Cache-Leseraten auf der preisseite.
36 Modelle weisen neben dem Eingabetarif einen Tarif für zwischengespeicherte Eingaben aus, live aus jeder Preisliste gelesen.
| Modell | Eingabe | Gecachte Eingabe |
|---|---|---|
| GLM 4.5 Flash Z.ai | Kostenlos | Kostenlos |
| GLM 4.6V Flash Z.ai | Kostenlos | Kostenlos |
| GLM 4.7 Flash Z.ai | Kostenlos | Kostenlos |
| Qwen3.7 Flash Alibaba Cloud | <=32K $0.03 32K-256K $0.10 256K-1M $0.20 | <=32K $0.006 32K-256K $0.02 256K-1M $0.04 |
| GLM 4.6V FlashX Z.ai | $0.04 | $0.036 |
| Nova Micro 1.0 Amazon | $0.040 | $0.0224 |
| Qwen3.5 4B Alibaba Cloud | $0.04 | $0.02 |
| Gemma 4 26B-A4B Google | $0.15$0.05 | $0.15$0.025 |
| Modell | Eingabe | Gecachte Eingabe |
|---|---|---|
| Nova Lite 1.0 Amazon | $0.069 | $0.0386 |
| GLM 4.7 FlashX Z.ai | $0.07 | $0.063 |
| Qwen3.6 35B A3B Alibaba Cloud | $0.248$0.07 | $0.035 |
| Qwen3.5 9B Alibaba Cloud | $0.10$0.09 | $0.045 |
| Step 3.5 Flash StepFun | $0.10 | $0.02 |
| Step 3.5 Flash 2603 StepFun | $0.10 | $0.02 |
| MiniMax M3.1 Flash MiniMax | $0.15$0.1125 | $0.015$0.01125 |
| Qwen3.8 27B Alibaba Cloud | $0.45$0.17 | $0.08 |
| DeepSeek V4.1 Flash 1017 DeepSeek | $0.20 | $0.02 |
| Muse Glimmer 30B Meta AI | $0.35$0.20 | $0.05 |
| Step 3.7 Flash StepFun | $0.20 | $0.04 |
| MiniMax M3 MiniMax | $0.30 <=512K $0.225 $0.60 >512K $0.45 | $0.06 <=512K $0.045 $0.12 >512K $0.09 |
| Nova Lite 2 Amazon | $0.38 | $0.2128 |
| GLM 5.1 Z.ai | $1.40 <=32K $0.825 $1.40 32K-200K $1.10 | $0.26 <=32K $0.165 $0.26 32K-200K $0.22 |
| Kimi K2.6 Moonshot AI | $0.95$0.8939 | $0.1788 |
| Step 5 Preview StepFun | $1.00 | $0.10 |
| Muse Spark 1.1 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.2 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.3 Meta AI | $1.25 | $1.00 |
| Qwen4 Max Alibaba Cloud | $1.50 | $0.075 |
| StepAudio 2.5 Chat StepFun | $1.50 | $0.30 |
| StepAudio 2.5 Realtime StepFun | $1.50 | $0.30 |
| StepAudio 3 Chat StepFun | $1.50 | $0.30 |
| Fugu Max Sakana AI | $2.00 | $0.25 |
| Kimi K3.1 Pro Moonshot AI | $2.00 | $0.184 |
| Fugu Ultra v1.1 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v2.0 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v1.0 Sakana AI | <=272K $7.50 >272K $15.00 | <=272K $1.50 >272K $3.00 |
Nein. Bei Modellen, die es unterstützen, wird das Caching automatisch auf wiederholte Prompt-Präfixe angewendet. Fügen Sie den Teil Ihres Prompts ein, der sich zu Beginn nicht ändert, um das Beste daraus herauszuholen.
Zwischengespeicherte Eingabetoken rechnen mit der Cache-Leserate des Modells, die niedriger ist als die normale Eingaberate. Jedes Modell, das Caching unterstützt, listet seinen Cache-Lesepreis an.
Nein. Caching beeinflusst, wie die Eingabe verarbeitet und abgerechnet wird. Das Modell erzeugt seine Ausgabe auf die übliche Weise.
Das Usage-Objekt in jeder Antwort meldet zwischengespeicherte Eingabetoken, wenn das Zwischenspeichern angewendet wird. Die Account Usage API gibt außerdem eine Cache-Trefferrate für jedes Zeitfenster zurück, über alle Modelle hinweg oder für eines.
Schauen Sie sich unsere Preise an oder kontaktieren Sie uns, wenn Sie Ihr eigenes Modell auf unserem Stack implementieren möchten.