컨텍스트 윈도우는 언어 모델이 한 번의 요청에서 처리할 수 있는 최대 토큰 수를 말하며, 읽는 모든 것(명령어, 대화 기록, 문서 및 도구 정의)과 작성한 토큰을 모두 포함합니다. 맞지 않는 요청은 축약되거나 분할되어야 합니다.
컨텍스트 윈도우는 다음과 같이 측정됩니다. 토큰. 모델이 단일 요청에서 읽는 모든 데이터가 이에 포함됩니다:
모델이 생성하는 토큰들은 동일한 창을 공유하며, 여기에는 논리 토큰도 포함됩니다. 추론 모델. 각 채팅 요청이 지금까지 대화를 이어갑니다 메시지, 따라서 긴 대화는 매 턴마다 전체 기록을 전송하고, 대화가 커질수록 한계에 가까워집니다. 예를 들어, 약 500개의 토큰을 가진 20턴은 새 메시지와 답변 전에 다음 요청에 약 10,000개의 기록을 추가합니다.
모델에는 두 개의 별도 한계가 있습니다. 컨텍스트 윈도우는 입력과 출력을 함께 포괄합니다. 최대 출력은 모델이 한 응답에 기록할 수 있는 가장 많은 토큰이며, 보통 윈도우보다 작습니다. 빨리 /v1/models 두 가지를 모두 보고합니다. context_window (또한 context_length) 및 max_output_tokens·.
각 요청마다 직접 출력 제한을 설정할 수 있습니다. max_tokens 생성되는 토큰을 제한하며, max_completion_tokens 한계 추론과 답변을 함께 합니다; 둘 다 보내면 더 작은 쪽이 적용됩니다. 한도에 도달한 응답은 일찍 멈춥니다. finish_reason 다음 길이, 따라서 답변이 문장 중간에 끝나면 제한을 높이세요. On /v1/responses 에 같은 한계는 다음과 같습니다 max_output_tokens, 그리고 응답이 끊긴 후 상태가 끝납니다 불완전·.
입력이 함께 max_tokens 이 값을 설정하면 모델의 컨텍스트 윈도우보다 길며, EmpirioLabs AI 반환됩니다 400 코드와 함께 context_length_exceeded 어떤 생성도 시작되기 전에, 요청이 청구되지 않습니다. 입력을 줄이거나 낮게 하세요 max_tokens, 그리고 다시 전송합니다. 압축 대화를 수행하는 에이전트 프레임워크는 이 코드를 신호로 사용합니다. 이 오류 참조 전체 응답을 보여줍니다.
요청을 보내기 전에 확인하려면, 포스트 /v1/messages/count_tokens 입력 토큰 수에 대한 추정치를 반환하며 청구되지 않습니다. 이 사용 각 응답 내의 객체는 정확한 개수를 보고합니다.
max_tokens 임무에 집중하자. 길이 검사는 중요하다 max_tokens 입력과 함께 입력값이 과도하게 커지면 입력이 들어맞을 요청도 거부할 수 있습니다.더 큰 창이 항상 좋은 것은 아닙니다. 모델은 매우 긴 입력에서 세부 사항을 간과할 수 있기 때문에, 짧고 관련성 높은 맥락이 긴 문맥보다 더 정확한 답변을 제공하는 경우가 많습니다. 컨텍스트 윈도우를 서로 비교하세요 텍스트 모델, 또는 긴 프롬프트를 테스트하는 경우도 있습니다. Playground·.
모델 96개가 컨텍스트 윈도우를 공개합니다. 각 모델 페이지에서 전체 사양과 제한을 확인할 수 있습니다.
| 모델 | 컨텍스트 창 | 최대 출력 |
|---|---|---|
| Step 5 Preview StepFun | 1.02M 토큰 | 128K 토큰 |
| Qwen3.8 Omni Flash Alibaba Cloud | 1.01M 토큰 | 128K 토큰 |
| Aplomb 1 EmpirioLabs | 1M 토큰 | - |
| DeepSeek V4 Flash 0731 DeepSeek | 1M 토큰 | 384K 토큰 |
| DeepSeek V4 Pro DeepSeek | 1M 토큰 | 384K 토큰 |
| DeepSeek V4 Pro 0813 DeepSeek | 1M 토큰 | 384K 토큰 |
| DeepSeek V4.1 Flash 1017 DeepSeek | 1M 토큰 | 384K 토큰 |
| Fugu Max Sakana AI | 1M 토큰 | 128K 토큰 |
| 모델 | 컨텍스트 창 | 최대 출력 |
|---|---|---|
| Fugu Ultra v1.0 Sakana AI | 1M 토큰 | 128K 토큰 |
| Fugu Ultra v1.1 Sakana AI | 1M 토큰 | 128K 토큰 |
| Fugu Ultra v2.0 Sakana AI | 1M 토큰 | 128K 토큰 |
| GLM 5.2 Z.ai | 1M 토큰 | 128K 토큰 |
| GLM 5.3 Z.ai | 1M 토큰 | 128K 토큰 |
| GLM 5.3 Flash Z.ai | 1M 토큰 | 128K 토큰 |
| Kimi K3 Moonshot AI | 1M 토큰 | 128K 토큰 |
| Kimi K3.1 Pro Moonshot AI | 1M 토큰 | 128K 토큰 |
| MiMo V2.6 Flash Xiaomi | 1M 토큰 | 128K 토큰 |
| MiMo V2.6 Pro Xiaomi | 1M 토큰 | 128K 토큰 |
| MiMo V2.6 Pro UltraSpeed Xiaomi | 1M 토큰 | 128K 토큰 |
| MiniMax M3 MiniMax | 1M 토큰 | 512K 토큰 |
| MiniMax M3.1 Flash MiniMax | 1M 토큰 | 512K 토큰 |
| Muse Spark 1.1 Meta AI | 1M 토큰 | 128K 토큰 |
| Muse Spark 1.2 Meta AI | 1M 토큰 | 128K 토큰 |
| Muse Spark 1.3 Meta AI | 1M 토큰 | 128K 토큰 |
| Nova Lite 2 Amazon | 1M 토큰 | 128K 토큰 |
| Qwen3.5 Flash Alibaba Cloud | 995.9K 토큰 | 32K 토큰 |
| Qwen3.5 Plus Alibaba Cloud | 983.6K 토큰 | 64K 토큰 |
| Qwen3.6 Flash Alibaba Cloud | 983.6K 토큰 | 64K 토큰 |
| Qwen3.6 Plus Alibaba Cloud | 983.6K 토큰 | 64K 토큰 |
| Qwen3.7 Flash Alibaba Cloud | 983.6K 토큰 | 64K 토큰 |
| Qwen3.7 Max Alibaba Cloud | 983.6K 토큰 | 64K 토큰 |
| Qwen3.7 Plus Alibaba Cloud | 983.6K 토큰 | 64K 토큰 |
| Qwen3.8 Flash Alibaba Cloud | 983.6K 토큰 | 128K 토큰 |
| Qwen3.8 Max Alibaba Cloud | 983.6K 토큰 | 128K 토큰 |
| Qwen3.8 Max 0902 Alibaba Cloud | 983.6K 토큰 | 128K 토큰 |
| Qwen4 Max Alibaba Cloud | 983.6K 토큰 | 256K 토큰 |
| Perplexity Deep Research Perplexity | 919.3K 토큰 | - |
| Perplexity Sonar Perplexity | 919.3K 토큰 | - |
| Perplexity Sonar Pro Perplexity | 919.3K 토큰 | 32K 토큰 |
| Perplexity Sonar Reasoning Pro Perplexity | 919.3K 토큰 | 128K 토큰 |
| Nova Lite 1.0 Amazon | 317.4K 토큰 | 10K 토큰 |
| Nova Pro 1.0 Amazon | 317.3K 토큰 | 10K 토큰 |
| Qwen3.5 122B-A10B Alibaba Cloud | 258K 토큰 | 64K 토큰 |
| Qwen3.5 27B Alibaba Cloud | 258K 토큰 | 64K 토큰 |
| Qwen3.5 35B-A3B Alibaba Cloud | 258K 토큰 | 64K 토큰 |
| Qwen3.5 397B-A17B Alibaba Cloud | 258K 토큰 | 64K 토큰 |
| Gemma 4 26B-A4B Google | 256K 토큰 | 32K 토큰 |
| Kimi K2.6 Moonshot AI | 256K 토큰 | 16K 토큰 |
| Kimi K2.7 Code Moonshot AI | 256K 토큰 | 128K 토큰 |
| Kimi K2.7 Code Highspeed Moonshot AI | 256K 토큰 | 128K 토큰 |
| Mistral Small 4 Mistral AI | 256K 토큰 | 64K 토큰 |
| Qwen3.5 4B Alibaba Cloud | 256K 토큰 | 32K 토큰 |
| Qwen3.5 9B Alibaba Cloud | 256K 토큰 | 32K 토큰 |
| Qwen3.8 27B Alibaba Cloud | 256K 토큰 | 32K 토큰 |
| Step 3.5 Flash StepFun | 256K 토큰 | 128K 토큰 |
| Step 3.5 Flash 2603 StepFun | 256K 토큰 | 128K 토큰 |
| Step 3.7 Flash StepFun | 256K 토큰 | 128K 토큰 |
| StepAudio 2.5 Chat StepFun | 256K 토큰 | 128K 토큰 |
| StepAudio 2.5 Realtime StepFun | 256K 토큰 | 128K 토큰 |
| StepAudio 3 Chat StepFun | 256K 토큰 | 128K 토큰 |
| StepAudio 3 Realtime StepFun | 256K 토큰 | 128K 토큰 |
| Qwen Audio 3.1 Realtime Flash Alibaba Cloud | 240K 토큰 | 16K 토큰 |
| Qwen Audio 3.1 Realtime Plus Alibaba Cloud | 240K 토큰 | 16K 토큰 |
| Seed 2.0 Mini ByteDance | 229.2K 토큰 | 128K 토큰 |
| Seed 2.0 Code ByteDance | 229.1K 토큰 | 128K 토큰 |
| Seed 2.0 Lite ByteDance | 229.1K 토큰 | 128K 토큰 |
| Seed 2.0 Pro ByteDance | 229.1K 토큰 | 128K 토큰 |
| Seed 2.1 Turbo ByteDance | 229.1K 토큰 | 64K 토큰 |
| Qwen3.6 27B Alibaba Cloud | 224K 토큰 | 64K 토큰 |
| GLM 4.7 Flash Z.ai | 202.8K 토큰 | 128K 토큰 |
| GLM 4.7 FlashX Z.ai | 202.8K 토큰 | 128K 토큰 |
| GLM 5.1 Z.ai | 202.7K 토큰 | 128K 토큰 |
| Qwen3.5 Omni Flash Alibaba Cloud | 192K 토큰 | 32K 토큰 |
| Qwen3.5 Omni Flash Realtime Alibaba Cloud | 192K 토큰 | 64K 토큰 |
| Qwen3.5 Omni Plus Alibaba Cloud | 192K 토큰 | 32K 토큰 |
| Qwen3.5 Omni Plus Realtime Alibaba Cloud | 192K 토큰 | 64K 토큰 |
| Qwen3.8 Omni Flash Realtime Alibaba Cloud | 192K 토큰 | 64K 토큰 |
| DeepReasoning WinFunc | 160K 토큰 | 32K 토큰 |
| Nova Micro 1.0 Amazon | 133K 토큰 | 10K 토큰 |
| GLM 4.5 Flash Z.ai | 128K 토큰 | 96K 토큰 |
| GLM 4.6V Flash Z.ai | 128K 토큰 | 32K 토큰 |
| GLM 4.6V FlashX Z.ai | 128K 토큰 | 32K 토큰 |
| Gemini 3.8 Live Google | 128K 토큰 | 64K 토큰 |
| Gemini 3.8 Live Extended Thinking Google | 128K 토큰 | 64K 토큰 |
| Gemma 3 27B Google | 128K 토큰 | 16K 토큰 |
| Muse Glimmer 30B Meta AI | 128K 토큰 | 32K 토큰 |
| Qwen3.6 35B A3B Alibaba Cloud | 128K 토큰 | 16K 토큰 |
| Mistral Small 3.1 Mistral AI | 89.6K 토큰 | 32K 토큰 |
| Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud | 48K 토큰 | 4K 토큰 |
| Qwen Audio 3.0 Realtime Flash Alibaba Cloud | 16K 토큰 | 8K 토큰 |
| Qwen Audio 3.0 Realtime Plus Alibaba Cloud | 16K 토큰 | 8K 토큰 |
| Skylark Embedding Vision ByteDance | 8K 토큰 | - |
| Text Embedding v4 Alibaba Cloud | 8K 토큰 | - |
| Qwen3 Rerank Alibaba Cloud | 4K 토큰 | - |
| Tongyi Embedding Vision Flash Alibaba Cloud | 1K 토큰 | - |
| Tongyi Embedding Vision Plus Alibaba Cloud | 1K 토큰 | - |
네. 입력과 출력이 창을 공유하기 때문에, 긴 프롬프트는 답변을 위한 공간이 줄어듭니다. API는 입력과 max_tokens을 설정하면 요청을 실행하기 전에 창과 함께 검사합니다.
API는 생성 전에 코드가 context_length_exceeded된 400 오류를 반환하며, 요청은 청구되지 않습니다. 입력 값을 줄이거나 max_tokens을 낮춘 후 다시 전송하세요.
아니요. 컨텍스트 창은 입력과 출력을 함께 다루며, 최대 출력은 모델이 한 응답에 기록할 토큰 수를 제한합니다. 두 토큰 모두 각 모델별로 나열되어 있습니다.
요청 본문을 POST /v1/messages/count_tokens에 보내 입력 토큰 추정치를 받으세요. 이 값은 청구되지 않습니다. 각 응답의 usage 객체는 정확한 개수를 보고합니다.