¿Qué es una ventana de contexto?

Una ventana de contexto es el número máximo de tokens que un modelo de lenguaje puede manejar en una sola solicitud, contando todo lo que lee (instrucciones, historial de conversaciones, documentos y definiciones de herramientas) más los tokens que escribe. Una solicitud que no encaja debe acortarse o dividirse.

Conceptos

Qué cuenta para la ventana de contexto

La ventana de contexto se mide en fichas. Todo lo que el modelo lee en una sola solicitud cuenta para él:

  • la indicación del sistema y cualquier instrucción;
  • cada giro anterior de la conversación que envías de nuevo;
  • definiciones de herramientas y resultados de herramientas;
  • documentos y pasajes recuperados que incluyas;
  • imágenes, audio y vídeo, qué modelos que los aceptan también se convierten en tokens.

Los tokens que genera el modelo comparten la misma ventana, incluidos los tokens de razonamiento de un Modelo de razonamiento. Cada solicitud de chat lleva la conversación hasta cierto punto mensajes, de modo que una conversación larga envía todo su historial en cada turno y se acerca al límite a medida que crece. Por ejemplo, 20 turnos de unos 500 tokens cada uno suman aproximadamente 10.000 tokens de historial a la siguiente petición, antes del nuevo mensaje y la respuesta.

Ventana de contexto y salida máxima

Un modelo tiene dos límites separados. La ventana de contexto cubre la entrada y la salida juntas. La salida máxima es la mayor cantidad de tokens que el modelo puede escribir en una sola respuesta, y suele ser más pequeña que la ventana. ¡VE /v1/models informa ambos, como context_window (también context_length) y max_output_tokens.

Puedes establecer tu propio límite de salida para cada solicitud. max_tokens limita los tokens generados, y max_completion_tokens limita el razonamiento y la respuesta juntos; cuando envías ambos, se aplica el más pequeño. Una respuesta que alcanza el límite se detiene antes de tiempo con finish_reason Establecido a Longitud, así que sube el límite si las respuestas terminan a mitad de frase. En /v1/responses El mismo límite es max_output_tokens, y una respuesta interrumpida por ésta termina con el estado incompleto.

Cuando una solicitud es demasiado larga

Cuando la entrada, junto con max_tokens si lo configuras, es más largo que la ventana contextual del modelo, EmpirioLabs AI devuelve 400 con el código context_length_exceeded antes de que comience cualquier generación y la solicitud no se facture. Acortar la entrada o reducir max_tokens, y luego enviarlo de nuevo. Los frameworks de agentes que compactan conversaciones usan este código como su señal para hacerlo. El Referencia de errores muestra la respuesta completa.

Para comprobar una solicitud antes de enviarla, POST /v1/messages/count_tokens devuelve una estimación de sus tokens de entrada y no se factura. El Uso objeto en cada respuesta informa del recuento exacto.

Trabajar dentro de la ventana

  • Envía lo que la tarea requiera. Recuperar los pasajes relevantes con embeddings en lugar de pegar documentos enteros.
  • Recorta los giros viejos. Resume o abandona los giros de conversación temprana cuando dejen de importar para la tarea.
  • Primero mantén la parte estable. Las instrucciones y definiciones de herramientas que nunca cambian pertenecen al principio, donde caché de prompts puedes facturarlos a un precio más bajo en los modelos que lo soportan.
  • Tamaño max_tokens a la tarea. El control de longitud cuenta max_tokens junto con la entrada, un valor sobredimensionado puede rechazar una solicitud cuya entrada de otro modo cabría.
  • Mira precios en contexto largo. Pagas por cada token de entrada en cada petición, y algunos modelos cobran una tarifa más alta una vez que la entrada pasa un número determinado de tokens.

Una ventana más grande no siempre es mejor. Un modelo puede pasar por alto detalles en una entrada muy larga, por lo que un contexto corto y relevante suele dar respuestas más precisas que uno largo. Compara ventanas de contexto a lo largo de la Modelos de texto, o probar indicaciones largas en el Playground.

Ventanas de contexto en EmpirioLabs AI, de mayor a menor

96 modelos indican una ventana de contexto. La página de cada modelo tiene todas sus especificaciones y límites.

ModeloVentana de contextoSalida máxima
Step 5 Preview StepFun1.02M tokens128K tokens
Qwen3.8 Omni Flash Alibaba Cloud1.01M tokens128K tokens
Aplomb 1 EmpirioLabs1M tokens-
DeepSeek V4 Flash 0731 DeepSeek1M tokens384K tokens
DeepSeek V4 Pro DeepSeek1M tokens384K tokens
DeepSeek V4 Pro 0813 DeepSeek1M tokens384K tokens
DeepSeek V4.1 Flash 1017 DeepSeek1M tokens384K tokens
Fugu Max Sakana AI1M tokens128K tokens
Ver los 96 modelos
ModeloVentana de contextoSalida máxima
Fugu Ultra v1.0 Sakana AI1M tokens128K tokens
Fugu Ultra v1.1 Sakana AI1M tokens128K tokens
Fugu Ultra v2.0 Sakana AI1M tokens128K tokens
GLM 5.2 Z.ai1M tokens128K tokens
GLM 5.3 Z.ai1M tokens128K tokens
GLM 5.3 Flash Z.ai1M tokens128K tokens
Kimi K3 Moonshot AI1M tokens128K tokens
Kimi K3.1 Pro Moonshot AI1M tokens128K tokens
MiMo V2.6 Flash Xiaomi1M tokens128K tokens
MiMo V2.6 Pro Xiaomi1M tokens128K tokens
MiMo V2.6 Pro UltraSpeed Xiaomi1M tokens128K tokens
MiniMax M3 MiniMax1M tokens512K tokens
MiniMax M3.1 Flash MiniMax1M tokens512K tokens
Muse Spark 1.1 Meta AI1M tokens128K tokens
Muse Spark 1.2 Meta AI1M tokens128K tokens
Muse Spark 1.3 Meta AI1M tokens128K tokens
Nova Lite 2 Amazon1M tokens128K tokens
Qwen3.5 Flash Alibaba Cloud995.9K tokens32K tokens
Qwen3.5 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.6 Flash Alibaba Cloud983.6K tokens64K tokens
Qwen3.6 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Flash Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Max Alibaba Cloud983.6K tokens64K tokens
Qwen3.7 Plus Alibaba Cloud983.6K tokens64K tokens
Qwen3.8 Flash Alibaba Cloud983.6K tokens128K tokens
Qwen3.8 Max Alibaba Cloud983.6K tokens128K tokens
Qwen3.8 Max 0902 Alibaba Cloud983.6K tokens128K tokens
Qwen4 Max Alibaba Cloud983.6K tokens256K tokens
Perplexity Deep Research Perplexity919.3K tokens-
Perplexity Sonar Perplexity919.3K tokens-
Perplexity Sonar Pro Perplexity919.3K tokens32K tokens
Perplexity Sonar Reasoning Pro Perplexity919.3K tokens128K tokens
Nova Lite 1.0 Amazon317.4K tokens10K tokens
Nova Pro 1.0 Amazon317.3K tokens10K tokens
Qwen3.5 122B-A10B Alibaba Cloud258K tokens64K tokens
Qwen3.5 27B Alibaba Cloud258K tokens64K tokens
Qwen3.5 35B-A3B Alibaba Cloud258K tokens64K tokens
Qwen3.5 397B-A17B Alibaba Cloud258K tokens64K tokens
Gemma 4 26B-A4B Google256K tokens32K tokens
Kimi K2.6 Moonshot AI256K tokens16K tokens
Kimi K2.7 Code Moonshot AI256K tokens128K tokens
Kimi K2.7 Code Highspeed Moonshot AI256K tokens128K tokens
Mistral Small 4 Mistral AI256K tokens64K tokens
Qwen3.5 4B Alibaba Cloud256K tokens32K tokens
Qwen3.5 9B Alibaba Cloud256K tokens32K tokens
Qwen3.8 27B Alibaba Cloud256K tokens32K tokens
Step 3.5 Flash StepFun256K tokens128K tokens
Step 3.5 Flash 2603 StepFun256K tokens128K tokens
Step 3.7 Flash StepFun256K tokens128K tokens
StepAudio 2.5 Chat StepFun256K tokens128K tokens
StepAudio 2.5 Realtime StepFun256K tokens128K tokens
StepAudio 3 Chat StepFun256K tokens128K tokens
StepAudio 3 Realtime StepFun256K tokens128K tokens
Qwen Audio 3.1 Realtime Flash Alibaba Cloud240K tokens16K tokens
Qwen Audio 3.1 Realtime Plus Alibaba Cloud240K tokens16K tokens
Seed 2.0 Mini ByteDance229.2K tokens128K tokens
Seed 2.0 Code ByteDance229.1K tokens128K tokens
Seed 2.0 Lite ByteDance229.1K tokens128K tokens
Seed 2.0 Pro ByteDance229.1K tokens128K tokens
Seed 2.1 Turbo ByteDance229.1K tokens64K tokens
Qwen3.6 27B Alibaba Cloud224K tokens64K tokens
GLM 4.7 Flash Z.ai202.8K tokens128K tokens
GLM 4.7 FlashX Z.ai202.8K tokens128K tokens
GLM 5.1 Z.ai202.7K tokens128K tokens
Qwen3.5 Omni Flash Alibaba Cloud192K tokens32K tokens
Qwen3.5 Omni Flash Realtime Alibaba Cloud192K tokens64K tokens
Qwen3.5 Omni Plus Alibaba Cloud192K tokens32K tokens
Qwen3.5 Omni Plus Realtime Alibaba Cloud192K tokens64K tokens
Qwen3.8 Omni Flash Realtime Alibaba Cloud192K tokens64K tokens
DeepReasoning WinFunc160K tokens32K tokens
Nova Micro 1.0 Amazon133K tokens10K tokens
GLM 4.5 Flash Z.ai128K tokens96K tokens
GLM 4.6V Flash Z.ai128K tokens32K tokens
GLM 4.6V FlashX Z.ai128K tokens32K tokens
Gemini 3.8 Live Google128K tokens64K tokens
Gemini 3.8 Live Extended Thinking Google128K tokens64K tokens
Gemma 3 27B Google128K tokens16K tokens
Muse Glimmer 30B Meta AI128K tokens32K tokens
Qwen3.6 35B A3B Alibaba Cloud128K tokens16K tokens
Mistral Small 3.1 Mistral AI89.6K tokens32K tokens
Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud48K tokens4K tokens
Qwen Audio 3.0 Realtime Flash Alibaba Cloud16K tokens8K tokens
Qwen Audio 3.0 Realtime Plus Alibaba Cloud16K tokens8K tokens
Skylark Embedding Vision ByteDance8K tokens-
Text Embedding v4 Alibaba Cloud8K tokens-
Qwen3 Rerank Alibaba Cloud4K tokens-
Tongyi Embedding Vision Flash Alibaba Cloud1K tokens-
Tongyi Embedding Vision Plus Alibaba Cloud1K tokens-

Preguntas frecuentes

¿Cuenta la respuesta para la ventana de contexto?

Sí. Entrada y salida comparten la ventana, así que un prompt largo deja menos espacio para la respuesta. La API comprueba la entrada más max_tokens, cuando lo configuras, contra la ventana antes de ejecutar la solicitud.

¿Qué pasa si mi prompt es más largo que la ventana de contexto?

La API devuelve un error 400 con el código context_length_exceeded antes de cualquier generación, y la solicitud no se factura. Acorta la entrada o reduce la max_tokens y luego envíala de nuevo.

¿La ventana de contexto es la misma que la salida máxima?

No. La ventana de contexto cubre la entrada y la salida conjuntamente, mientras que la salida máxima limita cuántos tokens escribe el modelo en una sola respuesta. Ambos se listan para cada modelo.

¿Cómo cuento los tokens antes de enviar una solicitud?

Envía el cuerpo de la solicitud a POST /v1/messages/count_tokens para obtener una estimación de sus tokens de entrada, que no se factura. El objeto de uso en cada respuesta informa del recuento exacto.

¿Listo para usar mejores endpoints?

Consulta nuestros precios o contacta con nosotros si quieres que tu propio modelo se implemente en nuestra pila.