Was ist Prompt-Caching?

Prompt-Caching verwendet die frühere Verarbeitung des Eröffnungsteils eines Prompts durch ein Modell wieder. Wenn eine Anfrage mit denselben Tokens wie eine kürzlich gestartete beginnt, werden diese zwischengespeicherten Token auf Modellen, die einen angeben, mit einer niedrigeren Cache-Leserate abgerechnet, und der Rest wird mit der normalen Eingaberate abgerechnet.

Konzepte

Was Prompt-Caching ist

Bevor ein Modell etwas schreibt, verarbeitet es jedes einzelne Token der Eingabe. Viele Anwendungen senden bei jeder Anfrage dieselben Eröffnungstoken: einen langen Systemprompt, eine Reihe von Werkzeugdefinitionen, ein Referenzdokument oder die früheren Wendungen eines Gesprächs.

Prompt-Caching behält das verarbeitete Ergebnis dieses öffnenden Teils, das als Präfix bezeichnet wird. Wenn eine spätere Anfrage mit exakt denselben Tokens beginnt, verwendet das Modell das zwischengespeicherte Präfix wieder und verarbeitet nur die neuen Token, die darauf folgen. Die Ausgabe wird auf die übliche Weise generiert, sodass das Caching die Art und Weise verändert, wie die Eingabe abgerechnet wird, nicht das, was das Modell schreibt.

Stellen Sie sich einen Assistenten vor, dessen System-Prompt und Tool-Definitionen 4.000 Token umfassen, gefolgt von einer Frage mit 150 Token. Wenn dieser eröffnende Teil aus dem Cache gelesen wird, werden etwa 4.000 der 4.150 Eingabetoken mit der Cache-Leserate abgerechnet, und nur die Frage wird mit der vollen Eingaberate abgerechnet.

Warum das Präfix exakt übereinstimmen muss

Ein Cache-Match beginnt beim ersten Token und endet bei der ersten Differenz. Ein einzelnes geändertes Zeichen nahe dem Beginn einer Aufforderung, wie etwa ein Zeitstempel, ein Benutzername oder eine Anfrage-ID im Systemprompt, bedeutet nichts, nachdem es aus dem Cache gelesen werden kann. Um Ihre Cache-Trefferrate zu erhöhen:

  • Setze stabile Inhalte an erste Stelle. Anleitungen, Werkzeugdefinitionen, Beispiele und lange Nachschlagewerke kommen am Anfang. Die Frage des Nutzers, abgerufene Passagen und alle anderen Änderungen kommen am Ende.
  • Halte das stabile Teil identisch. Verwenden Sie dieselbe Reihenfolge für Werkzeuge und Beispiele, dieselbe Formulierung und denselben Leerraum bei jeder Anfrage.
  • Anfügen statt bearbeiten. Fügen Sie in einem Gespräch jeden neuen Zug am Ende hinzu und lassen Sie frühere Züge unverändert, sodass jede Anfrage die vorherige verlängert.

Ein passendes Präfix macht einen Cache-Lesen wahrscheinlich, aber nicht sicher, also messe deine Trefferrate statt sie anzunehmen.

Wie zwischengespeicherte Eingaben auf EmpirioLabs AI abgerechnet werden

Caching erfolgt automatisch. Es gibt keinen Cache zu erstellen und keinen Marker hinzuzufügen: Bei Modellen, die ihn unterstützen, werden wiederholte Präfixe von selbst zwischengespeichert.

  • Welche Modelle. Ein Modell unterstützt Prompt-Caching, wenn es einen Cache-Lesepreis angibt. Die auf dieser Seite aufgeführten Modelle verfügen über einen.
  • Abrechnung. Zwischengespeicherte Eingabetoken rechnen mit der Cache-Leserate ab, die niedriger ist als die normale Eingaberate des Modells. Unzwischengespeicherte Eingaben und alle Ausgabetoken werden zu den üblichen Raten abgerechnet.
  • In der Katalog-API. GEH /v1/models meldet den Satz als input_cache_read in Preisgestaltung. Bei einem Modell ohne Cache-Rabatt entspricht es der normalen Eingaberate.
  • In jeder Antwort. Wenn Caching angewendet wird, Verwendung meldet zum Beispiel die zwischengespeicherten Token cache_read_input_tokens auf /v1/messages und input_tokens_details.cached_tokens auf /v1/responses.
  • Mit der Zeit. Die Kontonutzungs-API Rückkehren cache_hit_rate, der Anteil an Eingabetoken, die aus dem Cache in einem Zeitfenster ausgeliefert werden, über alle Modelle hinweg oder für ein Modell.

Zwischengespeicherte Token werden weiterhin eingegeben, sie zählen daher für die Kontextfenster Wie jedes andere Token.

Wo Caching am meisten hilft

  • Chat-Anwendungen und Agenten, die bei jeder Gelegenheit ein wachsendes Gespräch wiederholen.
  • Viele Fragen wurden gegen dasselbe lange Dokument oder dieselbe Codebasis gestellt.
  • Abruf-augmentierte Generierung mit einem festen Block von Befehlen und Beispielen.
  • Pipelines, die viele Anfragen mit einem gemeinsamen Systemprompt senden.

Caching bewirkt wenig, wenn sich jeder Prompt von seinem ersten Token unterscheidet. Für die Kostenseite siehe Wie Token abgerechnet werden und die aktuellen Cache-Leseraten auf der preisseite.

Modelle mit Prompt-Caching auf EmpirioLabs AI

36 Modelle weisen neben dem Eingabetarif einen Tarif für zwischengespeicherte Eingaben aus, live aus jeder Preisliste gelesen.

ModellEingabeGecachte Eingabe
GLM 4.5 Flash Z.aiKostenlosKostenlos
GLM 4.6V Flash Z.aiKostenlosKostenlos
GLM 4.7 Flash Z.aiKostenlosKostenlos
Qwen3.7 Flash Alibaba Cloud<=32K $0.03 32K-256K $0.10 256K-1M $0.20<=32K $0.006 32K-256K $0.02 256K-1M $0.04
GLM 4.6V FlashX Z.ai$0.04$0.036
Nova Micro 1.0 Amazon$0.040$0.0224
Qwen3.5 4B Alibaba Cloud$0.04$0.02
Gemma 4 26B-A4B Google$0.15$0.05$0.15$0.025
Alle 36 Modelle anzeigen
ModellEingabeGecachte Eingabe
Nova Lite 1.0 Amazon$0.069$0.0386
GLM 4.7 FlashX Z.ai$0.07$0.063
Qwen3.6 35B A3B Alibaba Cloud$0.248$0.07$0.035
Qwen3.5 9B Alibaba Cloud$0.10$0.09$0.045
Step 3.5 Flash StepFun$0.10$0.02
Step 3.5 Flash 2603 StepFun$0.10$0.02
MiniMax M3.1 Flash MiniMax$0.15$0.1125$0.015$0.01125
Qwen3.8 27B Alibaba Cloud$0.45$0.17$0.08
DeepSeek V4.1 Flash 1017 DeepSeek$0.20$0.02
Muse Glimmer 30B Meta AI$0.35$0.20$0.05
Step 3.7 Flash StepFun$0.20$0.04
MiniMax M3 MiniMax$0.30 <=512K $0.225 $0.60 >512K $0.45$0.06 <=512K $0.045 $0.12 >512K $0.09
Nova Lite 2 Amazon$0.38$0.2128
GLM 5.1 Z.ai$1.40 <=32K $0.825 $1.40 32K-200K $1.10$0.26 <=32K $0.165 $0.26 32K-200K $0.22
Kimi K2.6 Moonshot AI$0.95$0.8939$0.1788
Step 5 Preview StepFun$1.00$0.10
Muse Spark 1.1 Meta AI$1.25$1.00
Muse Spark 1.2 Meta AI$1.25$1.00
Muse Spark 1.3 Meta AI$1.25$1.00
Qwen4 Max Alibaba Cloud$1.50$0.075
StepAudio 2.5 Chat StepFun$1.50$0.30
StepAudio 2.5 Realtime StepFun$1.50$0.30
StepAudio 3 Chat StepFun$1.50$0.30
Fugu Max Sakana AI$2.00$0.25
Kimi K3.1 Pro Moonshot AI$2.00$0.184
Fugu Ultra v1.1 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v2.0 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v1.0 Sakana AI<=272K $7.50 >272K $15.00<=272K $1.50 >272K $3.00

Häufige Fragen

Muss ich Prompt-Caching aktivieren?

Nein. Bei Modellen, die es unterstützen, wird das Caching automatisch auf wiederholte Prompt-Präfixe angewendet. Fügen Sie den Teil Ihres Prompts ein, der sich zu Beginn nicht ändert, um das Beste daraus herauszuholen.

Wie viel kostet die zwischengespeicherte Eingabe?

Zwischengespeicherte Eingabetoken rechnen mit der Cache-Leserate des Modells, die niedriger ist als die normale Eingaberate. Jedes Modell, das Caching unterstützt, listet seinen Cache-Lesepreis an.

Verändert Prompt-Caching die Antwort des Modells?

Nein. Caching beeinflusst, wie die Eingabe verarbeitet und abgerechnet wird. Das Modell erzeugt seine Ausgabe auf die übliche Weise.

Wie kann ich überprüfen, ob meine Anfragen den Cache verwenden?

Das Usage-Objekt in jeder Antwort meldet zwischengespeicherte Eingabetoken, wenn das Zwischenspeichern angewendet wird. Die Account Usage API gibt außerdem eine Cache-Trefferrate für jedes Zeitfenster zurück, über alle Modelle hinweg oder für eines.

Bereit, bessere Endpunkte zu nutzen?

Schauen Sie sich unsere Preise an oder kontaktieren Sie uns, wenn Sie Ihr eigenes Modell auf unserem Stack implementieren möchten.