Qu’est-ce qu’une fenêtre de contexte ?

Une fenêtre de contexte est le nombre maximal de jetons qu’un modèle de langage peut gérer dans une requête, en comptant tout ce qu’il lit (instructions, historique des conversations, documents et définitions d’outils) plus les jetons qu’il écrit. Une requête qui ne convient pas doit être raccourcie ou séparée.

Concepts

Ce qui compte pour la fenêtre de contexte

La fenêtre de contexte est mesurée en jetons. Tout ce que le modèle lit dans une seule requête compte pour celui-ci:

  • l’invite système et toutes les instructions;
  • chaque tournant précédent de la conversation que tu envoies à nouveau;
  • définitions d’outils et résultats d’outils;
  • les documents et passages récupérés que vous incluez;
  • images, audio et vidéo, quels modèles les acceptant se convertissent également en jetons.

Les jetons générés par le modèle partagent la même fenêtre, y compris les jetons de raisonnement d’un Modèle de raisonnement. Chaque demande de chat permet de poursuivre la conversation jusqu’à ce point Messages, donc une longue conversation envoie tout son historique à chaque tour et se rapproche de la limite à mesure qu’elle grandit. Par exemple, 20 tours d’environ 500 jetons chacun ajoutent environ 10 000 jetons d’historique à la requête suivante, avant le nouveau message et la réponse.

Fenêtre de contexte et sortie maximale

Un modèle a deux limites distinctes. La fenêtre de contexte couvre l’entrée et la sortie ensemble. La sortie maximale correspond au nombre de jetons que le modèle peut écrire en une seule réponse, et elle est généralement plus petite que la fenêtre. ALLEZ-/v1/models rapporte les deux, comme context_window (également context_length) et max_output_tokens.

Vous pouvez définir votre propre limite de sortie pour chaque requête. max_tokens limite les jetons générés, et max_completion_tokens limite le raisonnement et la réponse ensemble; lorsque vous envoyez les deux, la plus petite s’applique. Une réponse qui atteint la limite s’arrête tôt avec finish_reason Fixer à Longueur, donc augmentez la limite si les réponses se terminent en milieu de phrase. On /v1/responses la même limite est max_output_tokens, et une réponse interrompue par celui-ci se termine par le statut incomplet.

Quand une demande est trop longue

Lorsque l’entrée, conjointement avec max_tokens si vous le définissez est plus long que la fenêtre de contexte du modèle, EmpirioLabs AI retourne 400 avec le code context_length_exceeded avant que toute génération ne démarre, et que la requête ne soit pas facturée. Raccourcir l’entrée ou diminuer max_tokens, puis l’envoyer à nouveau. Les frameworks d’agents qui compressent les conversations utilisent ce code comme signal pour le faire. Le Référence d’erreurs montre la réponse complète.

Pour vérifier une demande avant de l’envoyer, POST /v1/messages/count_tokens renvoie une estimation de ses jetons d’entrée et n’est pas facturé. Le Utilisation objet dans chaque réponse rapporte ensuite le nombre exact.

Travailler à l’intérieur de la fenêtre

  • Envoyez ce dont la tâche a besoin. Récupérer les passages pertinents avec Embeddings au lieu de coller des documents entiers.
  • Coupez les vieux virages. Résumez ou abandonnez les tournages de conversation précoce lorsqu’ils cessent d’avoir de l’importance pour la tâche.
  • Gardez d’abord la partie stable. Les instructions et définitions d’outils qui ne changent jamais appartiennent au début, où mise en cache des prompts peut les facturer à un tarif inférieur sur les modèles qui le supportent.
  • Taille max_tokens à la tâche. Le contrôle de longueur compte max_tokens avec l’entrée, une valeur surdimensionnée peut ainsi rejeter une requête dont l’entrée entrerait autrement.
  • Regardez les tarifs en contexte long. Vous payez chaque jeton d’entrée à chaque requête, et certains modèles facturent un tarif plus élevé une fois que l’entrée dépasse un nombre déterminé de jetons.

Une fenêtre plus grande n’est pas toujours meilleure. Un modèle peut négliger des détails dans une entrée très longue, donc un contexte court et pertinent donne souvent des réponses plus précises qu’un contexte long. Comparez les fenêtres de contexte à l’autre Modèles de texte, ou tester les prompts longs dans le Playground.

Fenêtres de contexte sur EmpirioLabs AI, de la plus grande à la plus petite

96 modèles indiquent une fenêtre de contexte. La page de chaque modèle présente toutes ses caractéristiques et limites.

ModèleFenêtre de contexteSortie max
Step 5 Preview StepFun1.02M tokens128K tokens
Qwen3.8 Omni Flash Alibaba Cloud1.01M tokens128K tokens
Aplomb 1 EmpirioLabs1M tokens-
DeepSeek V4 Flash 0731 DeepSeek1M tokens384K tokens
DeepSeek V4 Pro DeepSeek1M tokens384K tokens
DeepSeek V4 Pro 0813 DeepSeek1M tokens384K tokens
DeepSeek V4.1 Flash 1017 DeepSeek1M tokens384K tokens
Fugu Max Sakana AI1M tokens128K tokens
Afficher les 96 modèles
ModèleFenêtre de contexteSortie max
Fugu Ultra v1.0 Sakana AI1M tokens128K tokens
Fugu Ultra v1.1 Sakana AI1M tokens128K tokens
Fugu Ultra v2.0 Sakana AI1M tokens128K tokens
GLM 5.2 Z.ai1M tokens128K tokens
GLM 5.3 Z.ai1M tokens128K tokens
GLM 5.3 Flash Z.ai1M tokens128K tokens
Kimi K3 Moonshot AI1M tokens128K tokens
Kimi K3.1 Pro Moonshot AI1M tokens128K tokens
MiMo V2.6 Flash Xiaomi1M tokens128K tokens
MiMo V2.6 Pro Xiaomi1M tokens128K tokens
MiMo V2.6 Pro UltraSpeed Xiaomi1M tokens128K tokens
MiniMax M3 MiniMax1M tokens512K tokens
MiniMax M3.1 Flash MiniMax1M tokens512K tokens
Muse Spark 1.1 Meta AI1M tokens128K tokens
Muse Spark 1.2 Meta AI1M tokens128K tokens
Muse Spark 1.3 Meta AI1M tokens128K tokens
Nova Lite 2 Amazon1M tokens128K tokens
Qwen3.5 Flash Alibaba Cloud995.9K tokens32K tokens
Qwen3.5 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.6 Flash Alibaba Cloud983.6K tokens64K tokens
Qwen3.6 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Flash Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Max Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.8 Flash Alibaba Cloud983.6K tokens128K tokens
Qwen3.8 Max Alibaba Cloud983.6K tokens128K tokens
Qwen3.8 Max 0902 Alibaba Cloud983.6K tokens128K tokens
Qwen4 Max Alibaba Cloud983.6K tokens256K tokens
Perplexity Deep Research Perplexity919.3K tokens-
Perplexity Sonar Perplexity919.3K tokens-
Perplexity Sonar Pro Perplexity919.3K tokens32K tokens
Perplexity Sonar Reasoning Pro Perplexity919.3K tokens128K tokens
Nova Lite 1.0 Amazon317.4K tokens10K tokens
Nova Pro 1.0 Amazon317.3K tokens10K tokens
Qwen3.5 122B-A10B Alibaba Cloud258K tokens64K tokens
Qwen3.5 27B Alibaba Cloud258K tokens64K tokens
Qwen3.5 35B-A3B Alibaba Cloud258K tokens64K tokens
Qwen3.5 397B-A17B Alibaba Cloud258K tokens64K tokens
Gemma 4 26B-A4B Google256K tokens32K tokens
Kimi K2.6 Moonshot AI256K tokens16K tokens
Kimi K2.7 Code Moonshot AI256K tokens128K tokens
Kimi K2.7 Code Highspeed Moonshot AI256K tokens128K tokens
Mistral Small 4 Mistral AI256K tokens64K tokens
Qwen3.5 4B Alibaba Cloud256K tokens32K tokens
Qwen3.5 9B Alibaba Cloud256K tokens32K tokens
Qwen3.8 27B Alibaba Cloud256K tokens32K tokens
Step 3.5 Flash StepFun256K tokens128K tokens
Step 3.5 Flash 2603 StepFun256K tokens128K tokens
Step 3.7 Flash StepFun256K tokens128K tokens
StepAudio 2.5 Chat StepFun256K tokens128K tokens
StepAudio 2.5 Realtime StepFun256K tokens128K tokens
StepAudio 3 Chat StepFun256K tokens128K tokens
StepAudio 3 Realtime StepFun256K tokens128K tokens
Qwen Audio 3.1 Realtime Flash Alibaba Cloud240K tokens16K tokens
Qwen Audio 3.1 Realtime Plus Alibaba Cloud240K tokens16K tokens
Seed 2.0 Mini ByteDance229.2K tokens128K tokens
Seed 2.0 Code ByteDance229.1K tokens128K tokens
Seed 2.0 Lite ByteDance229.1K tokens128K tokens
Seed 2.0 Pro ByteDance229.1K tokens128K tokens
Seed 2.1 Turbo ByteDance229.1K tokens64K tokens
Qwen3.6 27B Alibaba Cloud224K tokens64K tokens
GLM 4.7 Flash Z.ai202.8K tokens128K tokens
GLM 4.7 FlashX Z.ai202.8K tokens128K tokens
GLM 5.1 Z.ai202.7K tokens128K tokens
Qwen3.5 Omni Flash Alibaba Cloud192K tokens32K tokens
Qwen3.5 Omni Flash Realtime Alibaba Cloud192K tokens64K tokens
Qwen3.5 Omni Plus Alibaba Cloud192K tokens32K tokens
Qwen3.5 Omni Plus Realtime Alibaba Cloud192K tokens64K tokens
Qwen3.8 Omni Flash Realtime Alibaba Cloud192K tokens64K tokens
DeepReasoning WinFunc160K tokens32K tokens
Nova Micro 1.0 Amazon133K tokens10K tokens
GLM 4.5 Flash Z.ai128K tokens96K tokens
GLM 4.6V Flash Z.ai128K tokens32K tokens
GLM 4.6V FlashX Z.ai128K tokens32K tokens
Gemini 3.8 Live Google128K tokens64K tokens
Gemini 3.8 Live Extended Thinking Google128K tokens64K tokens
Gemma 3 27B Google128K tokens16K tokens
Muse Glimmer 30B Meta AI128K tokens32K tokens
Qwen3.6 35B A3B Alibaba Cloud128K tokens16K tokens
Mistral Small 3.1 Mistral AI89.6K tokens32K tokens
Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud48K tokens4K tokens
Qwen Audio 3.0 Realtime Flash Alibaba Cloud16K tokens8K tokens
Qwen Audio 3.0 Realtime Plus Alibaba Cloud16K tokens8K tokens
Skylark Embedding Vision ByteDance8K tokens-
Text Embedding v4 Alibaba Cloud8K tokens-
Qwen3 Rerank Alibaba Cloud4K tokens-
Tongyi Embedding Vision Flash Alibaba Cloud1K tokens-
Tongyi Embedding Vision Plus Alibaba Cloud1K tokens-

Questions fréquentes

La réponse compte-t-elle pour la fenêtre de contexte ?

Oui. L’entrée et la sortie partagent la fenêtre, donc une longue invite laisse moins de place à la réponse. L’API vérifie l’entrée plus max_tokens, lorsque vous la définissez, par rapport à la fenêtre avant d’exécuter la requête.

Que se passe-t-il si mon prompt est plus long que la fenêtre de contexte ?

L’API renvoie une erreur 400 avec le code context_length_exceeded avant toute génération, et la requête n’est pas facturée. Raccourcissez l’entrée ou réduisez max_tokens, puis envoyez-la à nouveau.

La fenêtre de contexte est-elle la même que la sortie maximale ?

Non. La fenêtre de contexte couvre l’entrée et la sortie ensemble, tandis que la sortie maximale limite le nombre de jetons que le modèle écrit dans une seule réponse. Les deux sont listés pour chaque modèle.

Comment compter les jetons avant d’envoyer une demande ?

Envoyez le corps de la requête à POST /v1/messages/count_tokens pour obtenir une estimation de ses jetons d’entrée, qui n’est pas facturée. L’objet d’utilisation dans chaque réponse rapporte le nombre exact.

Prêt à utiliser de meilleurs points de terminaison ?

Consultez nos tarifs ou contactez-nous si vous souhaitez que votre propre modèle soit déployé sur notre stack.