什么是上下文窗口?

上下文窗口是指语言模型在单次请求中能处理的最大令牌数,包括它读取的所有内容(指令、会话历史、文档和工具定义)以及它写入的令牌。不合适的请求必须被缩短或拆分。

核心概念

哪些内容计入上下文窗口

上下文窗口的测量方式为 代币.模型在单次请求中读取的所有内容都计入请求:

  • 系统提示符及任何说明;
  • 你再次发送的每一次对话的早期轮回;
  • 工具定义和工具结果;
  • 你包含的文献和检索的段落;
  • 图像、音频和视频,接受这些模型的模型也会转换为代币。

模型生成的令牌共享同一窗口,包括 推理模型.每个聊天请求都会承载到目前为止的对话内容 信息,因此长时间的对话会在每一回合发送完整的历史记录,并随着时间增长逐渐接近限制。例如,20个回合,每回合约500个代币,会为下一个请求增加大约10,000个历史标记,在新消息和回答之前。

上下文窗口和最大输出

模型有两个独立的限制。上下文窗口同时涵盖输入和输出。最大输出是模型在一个响应中能写入的最多符号,通常小于窗口。 快去/v1/models 同时报告两者,如下 context_window (另 context_length)和 max_output_tokens。 。 。.

你可以为每个请求设置自己的输出上限。 max_tokens 限制生成的令牌数量,并且 max_completion_tokens 限制推理和回答;当你同时发送两者时,较小的那个适用。达到极限的响应会提前停止,为 finish_reason 设置为 长度,所以如果回答在句中结束,则提高限制。开启 /v1/responses (英语) 相同的极限为 max_output_tokens,而被它打断的回复以状态结束 不完整。 。 。.

当请求过长时

当输入与 max_tokens 如果你设置了它,它比模型的上下文窗口更长,EmpirioLabs AI返回 400 使用代码 context_length_exceeded 在任何生成开始之前,且请求不计费。缩短或降低输入 max_tokens,然后再次发送。用于压缩对话的代理框架会将此代码作为信号来执行。该 错误参考 显示完整回复。

在发送请求之前要检查它, /v1/messages/count_tokens后 返回其输入令牌的估计值,且不计费。该 用途 每个响应中的对象随后报告精确计数。

在窗口内工作

  • 发送任务所需的内容。 检索相关段落 嵌入 而不是粘贴整份文档。
  • 修剪旧弯道。 总结或在早期对话回合不再对任务产生影响时将其删掉。
  • 先把稳定的部分留好。 永远不变的说明和工具定义应放在开头,其中 提示缓存 对于支持该功能的产品,可以向他们收取更低的费用。
  • 规模 max_tokens 投入任务。 长度检查计数 max_tokens 与输入一起,因此一个超大值可以拒绝一个本应符合输入的请求。
  • 观看长上下文定价。 你在每个请求中为每个输入代币付费,有些型号在输入经过一定数量的代币后会收取更高的费率。

较大的窗口并不总是更好。模型可能会忽略非常长的输入细节,因此短而相关的上下文往往比长上下文给出更准确的答案。比较不同上下文窗口 文本模型,或在 测试长提示 Playground。 。 。.

EmpirioLabs AI 上的上下文窗口(从大到小)

96 个模型公布了上下文窗口。每个模型的页面都有完整规格和限制。

模型上下文窗口最大输出
Step 5 Preview StepFun1.02M 个 token128K 个 token
Qwen3.8 Omni Flash Alibaba Cloud1.01M 个 token128K 个 token
Aplomb 1 EmpirioLabs1M 个 token-
DeepSeek V4 Flash 0731 DeepSeek1M 个 token384K 个 token
DeepSeek V4 Pro DeepSeek1M 个 token384K 个 token
DeepSeek V4 Pro 0813 DeepSeek1M 个 token384K 个 token
DeepSeek V4.1 Flash 1017 DeepSeek1M 个 token384K 个 token
Fugu Max Sakana AI1M 个 token128K 个 token
显示全部 96 个模型
模型上下文窗口最大输出
Fugu Ultra v1.0 Sakana AI1M 个 token128K 个 token
Fugu Ultra v1.1 Sakana AI1M 个 token128K 个 token
Fugu Ultra v2.0 Sakana AI1M 个 token128K 个 token
GLM 5.2 Z.ai1M 个 token128K 个 token
GLM 5.3 Z.ai1M 个 token128K 个 token
GLM 5.3 Flash Z.ai1M 个 token128K 个 token
Kimi K3 Moonshot AI1M 个 token128K 个 token
Kimi K3.1 Pro Moonshot AI1M 个 token128K 个 token
MiMo V2.6 Flash Xiaomi1M 个 token128K 个 token
MiMo V2.6 Pro Xiaomi1M 个 token128K 个 token
MiMo V2.6 Pro UltraSpeed Xiaomi1M 个 token128K 个 token
MiniMax M3 MiniMax1M 个 token512K 个 token
MiniMax M3.1 Flash MiniMax1M 个 token512K 个 token
Muse Spark 1.1 Meta AI1M 个 token128K 个 token
Muse Spark 1.2 Meta AI1M 个 token128K 个 token
Muse Spark 1.3 Meta AI1M 个 token128K 个 token
Nova Lite 2 Amazon1M 个 token128K 个 token
Qwen3.5 Flash Alibaba Cloud995.9K 个 token32K 个 token
Qwen3.5 Plus Alibaba Cloud983.6K 个 token64K 个 token
Qwen3.6 Flash Alibaba Cloud983.6K 个 token64K 个 token
Qwen3.6 Plus Alibaba Cloud983.6K 个 token64K 个 token
Qwen3.7 Flash Alibaba Cloud983.6K 个 token64K 个 token
Qwen3.7 Max Alibaba Cloud983.6K 个 token64K 个 token
Qwen3.7 Plus Alibaba Cloud983.6K 个 token64K 个 token
Qwen3.8 Flash Alibaba Cloud983.6K 个 token128K 个 token
Qwen3.8 Max Alibaba Cloud983.6K 个 token128K 个 token
Qwen3.8 Max 0902 Alibaba Cloud983.6K 个 token128K 个 token
Qwen4 Max Alibaba Cloud983.6K 个 token256K 个 token
Perplexity Deep Research Perplexity919.3K 个 token-
Perplexity Sonar Perplexity919.3K 个 token-
Perplexity Sonar Pro Perplexity919.3K 个 token32K 个 token
Perplexity Sonar Reasoning Pro Perplexity919.3K 个 token128K 个 token
Nova Lite 1.0 Amazon317.4K 个 token10K 个 token
Nova Pro 1.0 Amazon317.3K 个 token10K 个 token
Qwen3.5 122B-A10B Alibaba Cloud258K 个 token64K 个 token
Qwen3.5 27B Alibaba Cloud258K 个 token64K 个 token
Qwen3.5 35B-A3B Alibaba Cloud258K 个 token64K 个 token
Qwen3.5 397B-A17B Alibaba Cloud258K 个 token64K 个 token
Gemma 4 26B-A4B Google256K 个 token32K 个 token
Kimi K2.6 Moonshot AI256K 个 token16K 个 token
Kimi K2.7 Code Moonshot AI256K 个 token128K 个 token
Kimi K2.7 Code Highspeed Moonshot AI256K 个 token128K 个 token
Mistral Small 4 Mistral AI256K 个 token64K 个 token
Qwen3.5 4B Alibaba Cloud256K 个 token32K 个 token
Qwen3.5 9B Alibaba Cloud256K 个 token32K 个 token
Qwen3.8 27B Alibaba Cloud256K 个 token32K 个 token
Step 3.5 Flash StepFun256K 个 token128K 个 token
Step 3.5 Flash 2603 StepFun256K 个 token128K 个 token
Step 3.7 Flash StepFun256K 个 token128K 个 token
StepAudio 2.5 Chat StepFun256K 个 token128K 个 token
StepAudio 2.5 Realtime StepFun256K 个 token128K 个 token
StepAudio 3 Chat StepFun256K 个 token128K 个 token
StepAudio 3 Realtime StepFun256K 个 token128K 个 token
Qwen Audio 3.1 Realtime Flash Alibaba Cloud240K 个 token16K 个 token
Qwen Audio 3.1 Realtime Plus Alibaba Cloud240K 个 token16K 个 token
Seed 2.0 Mini ByteDance229.2K 个 token128K 个 token
Seed 2.0 Code ByteDance229.1K 个 token128K 个 token
Seed 2.0 Lite ByteDance229.1K 个 token128K 个 token
Seed 2.0 Pro ByteDance229.1K 个 token128K 个 token
Seed 2.1 Turbo ByteDance229.1K 个 token64K 个 token
Qwen3.6 27B Alibaba Cloud224K 个 token64K 个 token
GLM 4.7 Flash Z.ai202.8K 个 token128K 个 token
GLM 4.7 FlashX Z.ai202.8K 个 token128K 个 token
GLM 5.1 Z.ai202.7K 个 token128K 个 token
Qwen3.5 Omni Flash Alibaba Cloud192K 个 token32K 个 token
Qwen3.5 Omni Flash Realtime Alibaba Cloud192K 个 token64K 个 token
Qwen3.5 Omni Plus Alibaba Cloud192K 个 token32K 个 token
Qwen3.5 Omni Plus Realtime Alibaba Cloud192K 个 token64K 个 token
Qwen3.8 Omni Flash Realtime Alibaba Cloud192K 个 token64K 个 token
DeepReasoning WinFunc160K 个 token32K 个 token
Nova Micro 1.0 Amazon133K 个 token10K 个 token
GLM 4.5 Flash Z.ai128K 个 token96K 个 token
GLM 4.6V Flash Z.ai128K 个 token32K 个 token
GLM 4.6V FlashX Z.ai128K 个 token32K 个 token
Gemini 3.8 Live Google128K 个 token64K 个 token
Gemini 3.8 Live Extended Thinking Google128K 个 token64K 个 token
Gemma 3 27B Google128K 个 token16K 个 token
Muse Glimmer 30B Meta AI128K 个 token32K 个 token
Qwen3.6 35B A3B Alibaba Cloud128K 个 token16K 个 token
Mistral Small 3.1 Mistral AI89.6K 个 token32K 个 token
Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud48K 个 token4K 个 token
Qwen Audio 3.0 Realtime Flash Alibaba Cloud16K 个 token8K 个 token
Qwen Audio 3.0 Realtime Plus Alibaba Cloud16K 个 token8K 个 token
Skylark Embedding Vision ByteDance8K 个 token-
Text Embedding v4 Alibaba Cloud8K 个 token-
Qwen3 Rerank Alibaba Cloud4K 个 token-
Tongyi Embedding Vision Flash Alibaba Cloud1K 个 token-
Tongyi Embedding Vision Plus Alibaba Cloud1K 个 token-

常见问题

这个回复算进上下文窗口吗?

是的。输入和输出共用窗口,所以长提示会给出回答留出的空间更少。API 会在你设置输入加max_tokens时,先与窗口进行检查,然后才运行请求。

如果我的提示比上下文窗口长,会发生什么?

API 返回 400 错误,代码在生成前context_length_exceeded,请求不计费。缩短输入或降低max_tokens,然后再次发送。

上下文窗口和最大输出是一样的吗?

不。上下文窗口涵盖输入和输出,而最大输出限制模型在单次响应中写入的标记数量。每个模型都会列出两者。

在发送请求之前,我该如何计数令牌数量?

将请求体发送给 POST /v1/messages/count_tokens,以获取其输入令牌数的估算,但该请求不计费。每个响应中的 usage 对象会报告精确的计数。

准备好使用更好的终端了吗?

查看我们的定价,或者如果你想将自己的模型部署到我们的堆栈中,请联系我们。