O que é uma janela de contexto?

Uma janela de contexto é o número máximo de tokens que um modelo de linguagem pode lidar em uma única requisição, contando tudo o que ele lê (instruções, histórico de conversas, documentos e definições de ferramentas) mais os tokens que escreve. Uma requisição que não cabe precisa ser encurtada ou dividida.

Conceitos

O que conta para a janela de contexto

A janela de contexto é medida em tokens. Tudo o que o modelo lê em uma única solicitação conta para ele:

  • o aviso do sistema e quaisquer instruções;
  • cada turno anterior da conversa que você envia novamente;
  • definições e resultados de ferramentas;
  • documentos e passagens recuperadas que você incluir;
  • imagens, áudio e vídeo, quais modelos que os aceitam também se convertem em tokens.

Os tokens gerados pelo modelo compartilham a mesma janela, incluindo os tokens de raciocínio de um Modelo de raciocínio. Cada pedido de chat leva a conversa tão longe mensagens, então uma conversa longa envia todo o seu histórico a cada turno e se aproxima do limite conforme cresce. Por exemplo, 20 turnos de cerca de 500 tokens cada adicionam aproximadamente 10.000 tokens de histórico à próxima solicitação, antes da nova mensagem e da resposta.

Janela de contexto e saída máxima

Um modelo tem dois limites separados. A janela de contexto cobre entrada e saída juntos. A saída máxima é o maior número de tokens que o modelo pode escrever em uma única resposta, e geralmente é menor que a janela. VÁ /v1/models Relata ambos, como context_window (também context_length) e max_output_tokens.

Você pode definir seu próprio limite de saída para cada requisição. max_tokens limita os tokens gerados, e max_completion_tokens limita o raciocínio e a resposta juntos; quando você envia ambos, o menor se aplica. Uma resposta que atinge o limite termina cedo com finish_reason definir para Comprimento, então aumente o limite se as respostas terminarem no meio da frase. Em /v1/responses o mesmo limite é max_output_tokens, e uma resposta interrompida por ele termina com o status incompleto.

Quando um pedido é longo demais

Quando a entrada, juntamente com max_tokens se você defini-lo for maior que a janela de contexto do modelo, EmpirioLabs AI retorna 400 com o código context_length_exceeded antes que qualquer geração comece e a solicitação não seja cobrada. Encurtar a entrada ou diminuir max_tokens, então envie novamente. Frameworks de agentes que compactam conversas usam esse código como sinal para isso. O Referência de erros mostra a resposta completa.

Para verificar um pedido antes de enviá-lo, POST /v1/messages/count_tokens retorna uma estimativa de seus tokens de entrada e não é faturado. O Uso objeto em cada resposta então reporta a contagem exata.

Trabalhando dentro da janela

  • Envie o que a tarefa precisa. Recuperar as passagens relevantes com Embeddings Em vez de colar documentos inteiros.
  • Corte curvas antigas. Resuma ou abandone as mudanças de conversa no início quando elas deixam de importar para a tarefa.
  • Mantenha a parte estável primeiro. Instruções e definições de ferramentas que nunca mudam pertencem ao início, onde cache de prompts pode cobrá-los a uma taxa menor em modelos que o suportam.
  • Tamanho max_tokens para a tarefa. A contagem de comprimento max_tokens junto com a entrada, então um valor sobredimensionado pode rejeitar uma solicitação cuja entrada de outra forma caberia.
  • Assista à definição de preços em contexto longo. Você paga por cada token de entrada em cada solicitação, e alguns modelos cobram uma taxa maior quando a entrada passa por um número determinado de tokens.

Uma janela maior nem sempre é melhor. Um modelo pode ignorar detalhes em uma entrada muito longa, então um contexto curto e relevante frequentemente dá respostas mais precisas do que um longo. Compare janelas de contexto entre Modelos de texto, ou testar prompts longos no Playground.

Janelas de contexto no EmpirioLabs AI, da maior para a menor

96 modelos informam uma janela de contexto. A página de cada modelo traz todas as especificações e limites.

ModeloJanela de contextoSaída máxima
Step 5 Preview StepFun1.02M tokens128K tokens
Qwen3.8 Omni Flash Alibaba Cloud1.01M tokens128K tokens
Aplomb 1 EmpirioLabs1M tokens-
DeepSeek V4 Flash 0731 DeepSeek1M tokens384K tokens
DeepSeek V4 Pro DeepSeek1M tokens384K tokens
DeepSeek V4 Pro 0813 DeepSeek1M tokens384K tokens
DeepSeek V4.1 Flash 1017 DeepSeek1M tokens384K tokens
Fugu Max Sakana AI1M tokens128K tokens
Ver todos os 96 modelos
ModeloJanela de contextoSaída máxima
Fugu Ultra v1.0 Sakana AI1M tokens128K tokens
Fugu Ultra v1.1 Sakana AI1M tokens128K tokens
Fugu Ultra v2.0 Sakana AI1M tokens128K tokens
GLM 5.2 Z.ai1M tokens128K tokens
GLM 5.3 Z.ai1M tokens128K tokens
GLM 5.3 Flash Z.ai1M tokens128K tokens
Kimi K3 Moonshot AI1M tokens128K tokens
Kimi K3.1 Pro Moonshot AI1M tokens128K tokens
MiMo V2.6 Flash Xiaomi1M tokens128K tokens
MiMo V2.6 Pro Xiaomi1M tokens128K tokens
MiMo V2.6 Pro UltraSpeed Xiaomi1M tokens128K tokens
MiniMax M3 MiniMax1M tokens512K tokens
MiniMax M3.1 Flash MiniMax1M tokens512K tokens
Muse Spark 1.1 Meta AI1M tokens128K tokens
Muse Spark 1.2 Meta AI1M tokens128K tokens
Muse Spark 1.3 Meta AI1M tokens128K tokens
Nova Lite 2 Amazon1M tokens128K tokens
Qwen3.5 Flash Alibaba Cloud995.9K tokens32K tokens
Qwen3.5 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.6 Flash Alibaba Cloud983.6K tokens64K tokens
Qwen3.6 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Flash Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Max Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.8 Flash Alibaba Cloud983.6K tokens128K tokens
Qwen3.8 Max Alibaba Cloud983.6K tokens128K tokens
Qwen3.8 Max 0902 Alibaba Cloud983.6K tokens128K tokens
Qwen4 Max Alibaba Cloud983.6K tokens256K tokens
Perplexity Deep Research Perplexity919.3K tokens-
Perplexity Sonar Perplexity919.3K tokens-
Perplexity Sonar Pro Perplexity919.3K tokens32K tokens
Perplexity Sonar Reasoning Pro Perplexity919.3K tokens128K tokens
Nova Lite 1.0 Amazon317.4K tokens10K tokens
Nova Pro 1.0 Amazon317.3K tokens10K tokens
Qwen3.5 122B-A10B Alibaba Cloud258K tokens64K tokens
Qwen3.5 27B Alibaba Cloud258K tokens64K tokens
Qwen3.5 35B-A3B Alibaba Cloud258K tokens64K tokens
Qwen3.5 397B-A17B Alibaba Cloud258K tokens64K tokens
Gemma 4 26B-A4B Google256K tokens32K tokens
Kimi K2.6 Moonshot AI256K tokens16K tokens
Kimi K2.7 Code Moonshot AI256K tokens128K tokens
Kimi K2.7 Code Highspeed Moonshot AI256K tokens128K tokens
Mistral Small 4 Mistral AI256K tokens64K tokens
Qwen3.5 4B Alibaba Cloud256K tokens32K tokens
Qwen3.5 9B Alibaba Cloud256K tokens32K tokens
Qwen3.8 27B Alibaba Cloud256K tokens32K tokens
Step 3.5 Flash StepFun256K tokens128K tokens
Step 3.5 Flash 2603 StepFun256K tokens128K tokens
Step 3.7 Flash StepFun256K tokens128K tokens
StepAudio 2.5 Chat StepFun256K tokens128K tokens
StepAudio 2.5 Realtime StepFun256K tokens128K tokens
StepAudio 3 Chat StepFun256K tokens128K tokens
StepAudio 3 Realtime StepFun256K tokens128K tokens
Qwen Audio 3.1 Realtime Flash Alibaba Cloud240K tokens16K tokens
Qwen Audio 3.1 Realtime Plus Alibaba Cloud240K tokens16K tokens
Seed 2.0 Mini ByteDance229.2K tokens128K tokens
Seed 2.0 Code ByteDance229.1K tokens128K tokens
Seed 2.0 Lite ByteDance229.1K tokens128K tokens
Seed 2.0 Pro ByteDance229.1K tokens128K tokens
Seed 2.1 Turbo ByteDance229.1K tokens64K tokens
Qwen3.6 27B Alibaba Cloud224K tokens64K tokens
GLM 4.7 Flash Z.ai202.8K tokens128K tokens
GLM 4.7 FlashX Z.ai202.8K tokens128K tokens
GLM 5.1 Z.ai202.7K tokens128K tokens
Qwen3.5 Omni Flash Alibaba Cloud192K tokens32K tokens
Qwen3.5 Omni Flash Realtime Alibaba Cloud192K tokens64K tokens
Qwen3.5 Omni Plus Alibaba Cloud192K tokens32K tokens
Qwen3.5 Omni Plus Realtime Alibaba Cloud192K tokens64K tokens
Qwen3.8 Omni Flash Realtime Alibaba Cloud192K tokens64K tokens
DeepReasoning WinFunc160K tokens32K tokens
Nova Micro 1.0 Amazon133K tokens10K tokens
GLM 4.5 Flash Z.ai128K tokens96K tokens
GLM 4.6V Flash Z.ai128K tokens32K tokens
GLM 4.6V FlashX Z.ai128K tokens32K tokens
Gemini 3.8 Live Google128K tokens64K tokens
Gemini 3.8 Live Extended Thinking Google128K tokens64K tokens
Gemma 3 27B Google128K tokens16K tokens
Muse Glimmer 30B Meta AI128K tokens32K tokens
Qwen3.6 35B A3B Alibaba Cloud128K tokens16K tokens
Mistral Small 3.1 Mistral AI89.6K tokens32K tokens
Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud48K tokens4K tokens
Qwen Audio 3.0 Realtime Flash Alibaba Cloud16K tokens8K tokens
Qwen Audio 3.0 Realtime Plus Alibaba Cloud16K tokens8K tokens
Skylark Embedding Vision ByteDance8K tokens-
Text Embedding v4 Alibaba Cloud8K tokens-
Qwen3 Rerank Alibaba Cloud4K tokens-
Tongyi Embedding Vision Flash Alibaba Cloud1K tokens-
Tongyi Embedding Vision Plus Alibaba Cloud1K tokens-

Perguntas frequentes

A resposta conta para a janela de contexto?

Sim. Entrada e saída compartilham a janela, então um prompt longo deixa menos espaço para a resposta. A API verifica a entrada mais max_tokens, quando você configura, contra a janela antes de executar a solicitação.

O que acontece se meu prompt for maior que a janela de contexto?

A API retorna um erro 400 com o código context_length_exceeded antes de qualquer geração, e a solicitação não é cobrada. Encurta a entrada ou reduza a max_tokens, então envie novamente.

A janela de contexto é a mesma que a saída máxima?

Não. A janela de contexto cobre entrada e saída juntas, enquanto a saída máxima limita quantos tokens o modelo escreve em uma única resposta. Ambos são listados para cada modelo.

Como faço para contar os tokens antes de enviar uma solicitação?

Envie o corpo da requisição para o POST /v1/messages/count_tokens para obter uma estimativa de seus tokens de entrada, que não é faturada. O objeto de uso em cada resposta reporta a contagem exata.

Pronto para usar endpoints melhores?

Confira nossos preços ou entre em contato se quiser que seu próprio modelo seja implementado em nossa pilha.