Was ist ein Kontextfenster?

Ein Kontextfenster ist die maximale Anzahl an Tokens, die ein Sprachmodell in einer Anfrage verarbeiten kann, und zählt alles, was es liest (Anweisungen, Konversationsverlauf, Dokumente und Werkzeugdefinitionen) plus die von ihm geschriebenen Token. Eine Anfrage, die nicht passt, muss verkürzt oder aufgeteilt werden.

Konzepte

Was für das Kontextfenster zählt

Das Kontextfenster wird gemessen in Tokens. Alles, was das Modell in einer einzigen Anfrage liest, zählt dazu:

  • die Systemaufforderung und alle Anweisungen;
  • jede frühere Wendung des Gesprächs, die du erneut schickst;
  • Werkzeugdefinitionen und Werkzeugergebnisse;
  • Dokumente und abgerufene Passagen, die Sie beifügen;
  • Bilder, Audio und Video, deren Modelle, die sie akzeptieren, ebenfalls in Token umgewandelt werden.

Die vom Modell generierten Token teilen sich dasselbe Fenster, einschließlich der Reasoning-Token eines Denkmodell. Jede Chat-Anfrage trägt das Gespräch bis hierhin weiter Nachrichten, also sendet ein langes Gespräch bei jedem Zug seine gesamte Historie und rückt mit zunehmender Zeit näher an das Limit heran. Zum Beispiel fügen 20 Züge mit jeweils etwa 500 Tokens ungefähr 10.000 Token Historie zur nächsten Anfrage hinzu, bevor die neue Nachricht und die Antwort kommen.

Kontextfenster und maximale Ausgabe

Ein Modell hat zwei getrennte Grenzen. Das Kontextfenster umfasst Eingabe und Ausgabe zusammen. Die maximale Ausgabe sind die meisten Token, die das Modell in einer Antwort schreiben kann, und sie ist in der Regel kleiner als das Fenster. GEH /v1/models Berichtet beides, als context_window (ebenfalls context_length) und max_output_tokens.

Du kannst für jede Anfrage dein eigenes Ausgangslimit festlegen. max_tokens begrenzt die generierten Token, und max_completion_tokens begrenzt das Denken und die Antwort zusammen; wenn Sie beide senden, gilt die kleinere Antwort. Eine Antwort, die das Limit erreicht, endet früh mit finish_reason Setzen Sie auf Länge, also erhöht das Limit, wenn Antworten mitten im Satz enden. An /v1/responses Der gleiche Grenzwert ist max_output_tokens, und eine Antwort, die dadurch abgebrochen wird, endet mit dem Status unvollständig.

Wenn eine Anfrage zu lang ist

Wenn die Eingabe, zusammen mit max_tokens Wenn Sie es festlegen, ist länger als das Kontextfenster des Modells, gibt EmpirioLabs AI zurück 400 mit dem Code context_length_exceeded bevor eine Generierung beginnt und die Anfrage nicht abgerechnet wird. Eingabe kürzen oder reduzieren max_tokens, dann senden Sie es erneut. Agenten-Frameworks, die Gespräche kompaktieren, verwenden diesen Code als ihr Signal dafür. Die Fehlerreferenz zeigt die vollständige Antwort an.

Um eine Anfrage vor dem Versand zu überprüfen, POST /v1/messages/count_tokens gibt eine Schätzung seiner Eingabetoken zurück und wird nicht abgerechnet. Die Verwendung Objekt in jeder Antwort gibt dann die genaue Anzahl an.

Arbeiten innerhalb des Fensters

  • Schick das, was die Aufgabe benötigt. Rufen Sie die relevanten Passagen mit Embeddings anstatt ganze Dokumente einzufügen.
  • Schneide alte Kurven ab. Fasse frühe Gesprächswendungen zusammen oder streiche sie, sobald sie für die Aufgabe keine Rolle mehr spielen.
  • Behalte zuerst den stabilen Teil. Anweisungen und Werkzeugdefinitionen, die sich nie ändern, gehören am Anfang hin, wo Prompt-Caching Man kann sie bei Modellen, die das unterstützen, zu einem niedrigeren Preis in Rechnung stellen.
  • Größe max_tokens zur Aufgabe. Die Längenprüfung zählt max_tokens zusammen mit der Eingabe, sodass ein übergroßer Wert eine Anfrage ablehnen kann, deren Eingabe sonst passen würde.
  • Beobachten Sie die Long-Context-Preise. Du zahlst für jeden Eingabetoken bei jeder Anfrage, und manche Modelle verlangen einen höheren Satz, sobald der Input eine bestimmte Anzahl von Tokens überschritten hat.

Ein größeres Fenster ist nicht immer besser. Ein Modell kann Details in einer sehr langen Eingabe übersehen, daher liefert ein kurzer, relevanter Kontext oft genauere Antworten als ein langer. Vergleiche Kontextfenster über verschiedene Elemente hinweg Textmodelle, oder lange Eingabeaufforderungen in der Playground.

Kontextfenster auf EmpirioLabs AI, größte zuerst

96 Modelle geben ein Kontextfenster an. Die Seite jedes Modells zeigt alle Spezifikationen und Limits.

ModellKontextfensterMax. Ausgabe
Step 5 Preview StepFun1.02M Token128K Token
Qwen3.8 Omni Flash Alibaba Cloud1.01M Token128K Token
Aplomb 1 EmpirioLabs1M Token-
DeepSeek V4 Flash 0731 DeepSeek1M Token384K Token
DeepSeek V4 Pro DeepSeek1M Token384K Token
DeepSeek V4 Pro 0813 DeepSeek1M Token384K Token
DeepSeek V4.1 Flash 1017 DeepSeek1M Token384K Token
Fugu Max Sakana AI1M Token128K Token
Alle 96 Modelle anzeigen
ModellKontextfensterMax. Ausgabe
Fugu Ultra v1.0 Sakana AI1M Token128K Token
Fugu Ultra v1.1 Sakana AI1M Token128K Token
Fugu Ultra v2.0 Sakana AI1M Token128K Token
GLM 5.2 Z.ai1M Token128K Token
GLM 5.3 Z.ai1M Token128K Token
GLM 5.3 Flash Z.ai1M Token128K Token
Kimi K3 Moonshot AI1M Token128K Token
Kimi K3.1 Pro Moonshot AI1M Token128K Token
MiMo V2.6 Flash Xiaomi1M Token128K Token
MiMo V2.6 Pro Xiaomi1M Token128K Token
MiMo V2.6 Pro UltraSpeed Xiaomi1M Token128K Token
MiniMax M3 MiniMax1M Token512K Token
MiniMax M3.1 Flash MiniMax1M Token512K Token
Muse Spark 1.1 Meta AI1M Token128K Token
Muse Spark 1.2 Meta AI1M Token128K Token
Muse Spark 1.3 Meta AI1M Token128K Token
Nova Lite 2 Amazon1M Token128K Token
Qwen3.5 Flash Alibaba Cloud995.9K Token32K Token
Qwen3.5 Plus Alibaba Cloud983.6K Token64K Token
Qwen3.6 Flash Alibaba Cloud983.6K Token64K Token
Qwen3.6 Plus Alibaba Cloud983.6K Token64K Token
Qwen3.7 Flash Alibaba Cloud983.6K Token64K Token
Qwen3.7 Max Alibaba Cloud983.6K Token64K Token
Qwen3.7 Plus Alibaba Cloud983.6K Token64K Token
Qwen3.8 Flash Alibaba Cloud983.6K Token128K Token
Qwen3.8 Max Alibaba Cloud983.6K Token128K Token
Qwen3.8 Max 0902 Alibaba Cloud983.6K Token128K Token
Qwen4 Max Alibaba Cloud983.6K Token256K Token
Perplexity Deep Research Perplexity919.3K Token-
Perplexity Sonar Perplexity919.3K Token-
Perplexity Sonar Pro Perplexity919.3K Token32K Token
Perplexity Sonar Reasoning Pro Perplexity919.3K Token128K Token
Nova Lite 1.0 Amazon317.4K Token10K Token
Nova Pro 1.0 Amazon317.3K Token10K Token
Qwen3.5 122B-A10B Alibaba Cloud258K Token64K Token
Qwen3.5 27B Alibaba Cloud258K Token64K Token
Qwen3.5 35B-A3B Alibaba Cloud258K Token64K Token
Qwen3.5 397B-A17B Alibaba Cloud258K Token64K Token
Gemma 4 26B-A4B Google256K Token32K Token
Kimi K2.6 Moonshot AI256K Token16K Token
Kimi K2.7 Code Moonshot AI256K Token128K Token
Kimi K2.7 Code Highspeed Moonshot AI256K Token128K Token
Mistral Small 4 Mistral AI256K Token64K Token
Qwen3.5 4B Alibaba Cloud256K Token32K Token
Qwen3.5 9B Alibaba Cloud256K Token32K Token
Qwen3.8 27B Alibaba Cloud256K Token32K Token
Step 3.5 Flash StepFun256K Token128K Token
Step 3.5 Flash 2603 StepFun256K Token128K Token
Step 3.7 Flash StepFun256K Token128K Token
StepAudio 2.5 Chat StepFun256K Token128K Token
StepAudio 2.5 Realtime StepFun256K Token128K Token
StepAudio 3 Chat StepFun256K Token128K Token
StepAudio 3 Realtime StepFun256K Token128K Token
Qwen Audio 3.1 Realtime Flash Alibaba Cloud240K Token16K Token
Qwen Audio 3.1 Realtime Plus Alibaba Cloud240K Token16K Token
Seed 2.0 Mini ByteDance229.2K Token128K Token
Seed 2.0 Code ByteDance229.1K Token128K Token
Seed 2.0 Lite ByteDance229.1K Token128K Token
Seed 2.0 Pro ByteDance229.1K Token128K Token
Seed 2.1 Turbo ByteDance229.1K Token64K Token
Qwen3.6 27B Alibaba Cloud224K Token64K Token
GLM 4.7 Flash Z.ai202.8K Token128K Token
GLM 4.7 FlashX Z.ai202.8K Token128K Token
GLM 5.1 Z.ai202.7K Token128K Token
Qwen3.5 Omni Flash Alibaba Cloud192K Token32K Token
Qwen3.5 Omni Flash Realtime Alibaba Cloud192K Token64K Token
Qwen3.5 Omni Plus Alibaba Cloud192K Token32K Token
Qwen3.5 Omni Plus Realtime Alibaba Cloud192K Token64K Token
Qwen3.8 Omni Flash Realtime Alibaba Cloud192K Token64K Token
DeepReasoning WinFunc160K Token32K Token
Nova Micro 1.0 Amazon133K Token10K Token
GLM 4.5 Flash Z.ai128K Token96K Token
GLM 4.6V Flash Z.ai128K Token32K Token
GLM 4.6V FlashX Z.ai128K Token32K Token
Gemini 3.8 Live Google128K Token64K Token
Gemini 3.8 Live Extended Thinking Google128K Token64K Token
Gemma 3 27B Google128K Token16K Token
Muse Glimmer 30B Meta AI128K Token32K Token
Qwen3.6 35B A3B Alibaba Cloud128K Token16K Token
Mistral Small 3.1 Mistral AI89.6K Token32K Token
Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud48K Token4K Token
Qwen Audio 3.0 Realtime Flash Alibaba Cloud16K Token8K Token
Qwen Audio 3.0 Realtime Plus Alibaba Cloud16K Token8K Token
Skylark Embedding Vision ByteDance8K Token-
Text Embedding v4 Alibaba Cloud8K Token-
Qwen3 Rerank Alibaba Cloud4K Token-
Tongyi Embedding Vision Flash Alibaba Cloud1K Token-
Tongyi Embedding Vision Plus Alibaba Cloud1K Token-

Häufige Fragen

Zählt die Antwort für das Kontextfenster?

Ja. Eingabe und Ausgabe teilen sich das Fenster, sodass eine lange Eingabeaufforderung weniger Raum für die Antwort lässt. Die API prüft die Eingabe plus max_tokens, wenn du sie eingestellt hast, mit dem Fenster, bevor sie die Anfrage ausführt.

Was passiert, wenn mein Prompt länger als das Kontextfenster ist?

Die API gibt einen 400-Fehler zurück, wobei der Code vor jeder Generierung context_length_exceeded wird, und die Anfrage wird nicht abgerechnet. Kürzen Sie die Eingabe oder senken Sie max_tokens, und senden Sie ihn dann erneut.

Ist das Kontextfenster dasselbe wie die maximale Ausgabe?

Nein. Das Kontextfenster umfasst Eingabe und Ausgabe gemeinsam, während die maximale Ausgabe begrenzt, wie viele Token das Modell in einer Antwort schreibt. Beide sind für jedes Modell aufgeführt.

Wie zähle ich Token, bevor ich eine Anfrage verschicke?

Senden Sie den Anfrageobjekt an POST /v1/messages/count_tokens für eine Schätzung seiner Eingabetoken, die nicht abgerechnet werden. Das Usage-Objekt in jeder Antwort gibt die genaue Anzahl an.

Bereit, bessere Endpunkte zu nutzen?

Schauen Sie sich unsere Preise an oder kontaktieren Sie uns, wenn Sie Ihr eigenes Modell auf unserem Stack implementieren möchten.