컨텍스트 윈도우란 무엇인가요?

컨텍스트 윈도우는 언어 모델이 한 번의 요청에서 처리할 수 있는 최대 토큰 수를 말하며, 읽는 모든 것(명령어, 대화 기록, 문서 및 도구 정의)과 작성한 토큰을 모두 포함합니다. 맞지 않는 요청은 축약되거나 분할되어야 합니다.

개념

컨텍스트 창에 포함되는 항목

컨텍스트 윈도우는 다음과 같이 측정됩니다. 토큰. 모델이 단일 요청에서 읽는 모든 데이터가 이에 포함됩니다:

  • 시스템 프롬프트와 모든 지시사항;
  • 당신이 다시 보내는 대화의 이전 모든 순간;
  • 공구 정의 및 공구 결과;
  • 문서와 회수된 구절을 포함하세요;
  • 이미지, 오디오, 비디오도 토큰으로 변환됩니다.

모델이 생성하는 토큰들은 동일한 창을 공유하며, 여기에는 논리 토큰도 포함됩니다. 추론 모델. 각 채팅 요청이 지금까지 대화를 이어갑니다 메시지, 따라서 긴 대화는 매 턴마다 전체 기록을 전송하고, 대화가 커질수록 한계에 가까워집니다. 예를 들어, 약 500개의 토큰을 가진 20턴은 새 메시지와 답변 전에 다음 요청에 약 10,000개의 기록을 추가합니다.

컨텍스트 창과 최대 출력

모델에는 두 개의 별도 한계가 있습니다. 컨텍스트 윈도우는 입력과 출력을 함께 포괄합니다. 최대 출력은 모델이 한 응답에 기록할 수 있는 가장 많은 토큰이며, 보통 윈도우보다 작습니다. 빨리 /v1/models 두 가지를 모두 보고합니다. context_window (또한 context_length) 및 max_output_tokens·.

각 요청마다 직접 출력 제한을 설정할 수 있습니다. max_tokens 생성되는 토큰을 제한하며, max_completion_tokens 한계 추론과 답변을 함께 합니다; 둘 다 보내면 더 작은 쪽이 적용됩니다. 한도에 도달한 응답은 일찍 멈춥니다. finish_reason 다음 길이, 따라서 답변이 문장 중간에 끝나면 제한을 높이세요. On /v1/responses 에 같은 한계는 다음과 같습니다 max_output_tokens, 그리고 응답이 끊긴 후 상태가 끝납니다 불완전·.

요청이 너무 길 때

입력이 함께 max_tokens 이 값을 설정하면 모델의 컨텍스트 윈도우보다 길며, EmpirioLabs AI 반환됩니다 400 코드와 함께 context_length_exceeded 어떤 생성도 시작되기 전에, 요청이 청구되지 않습니다. 입력을 줄이거나 낮게 하세요 max_tokens, 그리고 다시 전송합니다. 압축 대화를 수행하는 에이전트 프레임워크는 이 코드를 신호로 사용합니다. 이 오류 참조 전체 응답을 보여줍니다.

요청을 보내기 전에 확인하려면, 포스트 /v1/messages/count_tokens 입력 토큰 수에 대한 추정치를 반환하며 청구되지 않습니다. 이 사용 각 응답 내의 객체는 정확한 개수를 보고합니다.

창 내에서 작업

  • 작업에 필요한 것을 보내세요. 관련 구절을 다음과 같이 검색하세요 임베딩 전체 문서를 붙여넣는 대신에요.
  • 오래된 회전 부분을 다듬으세요. 초반 대화 턴이 과제에 더 이상 중요하지 않게 되면 요약하거나 포기하세요.
  • 안정된 부분부터 먼저 유지하세요. 변하지 않는 설명서와 공구 정의는 시작 부분에 배치됩니다. 즉시 캐싱 이를 지원하는 모델에서는 더 낮은 요금으로 청구할 수 있습니다.
  • 크기 max_tokens 임무에 집중하자. 길이 검사는 중요하다 max_tokens 입력과 함께 입력값이 과도하게 커지면 입력이 들어맞을 요청도 거부할 수 있습니다.
  • 긴 맥락 가격 책정을 시청하세요. 모든 요청마다 입력 토큰에 대해 비용을 지불하며, 일부 모델은 입력이 일정 수의 토큰을 통과하면 더 높은 요금을 부과합니다.

더 큰 창이 항상 좋은 것은 아닙니다. 모델은 매우 긴 입력에서 세부 사항을 간과할 수 있기 때문에, 짧고 관련성 높은 맥락이 긴 문맥보다 더 정확한 답변을 제공하는 경우가 많습니다. 컨텍스트 윈도우를 서로 비교하세요 텍스트 모델, 또는 긴 프롬프트를 테스트하는 경우도 있습니다. Playground·.

EmpirioLabs AI의 컨텍스트 윈도우, 큰 순

모델 96개가 컨텍스트 윈도우를 공개합니다. 각 모델 페이지에서 전체 사양과 제한을 확인할 수 있습니다.

모델컨텍스트 창최대 출력
Step 5 Preview StepFun1.02M 토큰128K 토큰
Qwen3.8 Omni Flash Alibaba Cloud1.01M 토큰128K 토큰
Aplomb 1 EmpirioLabs1M 토큰-
DeepSeek V4 Flash 0731 DeepSeek1M 토큰384K 토큰
DeepSeek V4 Pro DeepSeek1M 토큰384K 토큰
DeepSeek V4 Pro 0813 DeepSeek1M 토큰384K 토큰
DeepSeek V4.1 Flash 1017 DeepSeek1M 토큰384K 토큰
Fugu Max Sakana AI1M 토큰128K 토큰
모델 96개 모두 보기
모델컨텍스트 창최대 출력
Fugu Ultra v1.0 Sakana AI1M 토큰128K 토큰
Fugu Ultra v1.1 Sakana AI1M 토큰128K 토큰
Fugu Ultra v2.0 Sakana AI1M 토큰128K 토큰
GLM 5.2 Z.ai1M 토큰128K 토큰
GLM 5.3 Z.ai1M 토큰128K 토큰
GLM 5.3 Flash Z.ai1M 토큰128K 토큰
Kimi K3 Moonshot AI1M 토큰128K 토큰
Kimi K3.1 Pro Moonshot AI1M 토큰128K 토큰
MiMo V2.6 Flash Xiaomi1M 토큰128K 토큰
MiMo V2.6 Pro Xiaomi1M 토큰128K 토큰
MiMo V2.6 Pro UltraSpeed Xiaomi1M 토큰128K 토큰
MiniMax M3 MiniMax1M 토큰512K 토큰
MiniMax M3.1 Flash MiniMax1M 토큰512K 토큰
Muse Spark 1.1 Meta AI1M 토큰128K 토큰
Muse Spark 1.2 Meta AI1M 토큰128K 토큰
Muse Spark 1.3 Meta AI1M 토큰128K 토큰
Nova Lite 2 Amazon1M 토큰128K 토큰
Qwen3.5 Flash Alibaba Cloud995.9K 토큰32K 토큰
Qwen3.5 Plus Alibaba Cloud983.6K 토큰64K 토큰
Qwen3.6 Flash Alibaba Cloud983.6K 토큰64K 토큰
Qwen3.6 Plus Alibaba Cloud983.6K 토큰64K 토큰
Qwen3.7 Flash Alibaba Cloud983.6K 토큰64K 토큰
Qwen3.7 Max Alibaba Cloud983.6K 토큰64K 토큰
Qwen3.7 Plus Alibaba Cloud983.6K 토큰64K 토큰
Qwen3.8 Flash Alibaba Cloud983.6K 토큰128K 토큰
Qwen3.8 Max Alibaba Cloud983.6K 토큰128K 토큰
Qwen3.8 Max 0902 Alibaba Cloud983.6K 토큰128K 토큰
Qwen4 Max Alibaba Cloud983.6K 토큰256K 토큰
Perplexity Deep Research Perplexity919.3K 토큰-
Perplexity Sonar Perplexity919.3K 토큰-
Perplexity Sonar Pro Perplexity919.3K 토큰32K 토큰
Perplexity Sonar Reasoning Pro Perplexity919.3K 토큰128K 토큰
Nova Lite 1.0 Amazon317.4K 토큰10K 토큰
Nova Pro 1.0 Amazon317.3K 토큰10K 토큰
Qwen3.5 122B-A10B Alibaba Cloud258K 토큰64K 토큰
Qwen3.5 27B Alibaba Cloud258K 토큰64K 토큰
Qwen3.5 35B-A3B Alibaba Cloud258K 토큰64K 토큰
Qwen3.5 397B-A17B Alibaba Cloud258K 토큰64K 토큰
Gemma 4 26B-A4B Google256K 토큰32K 토큰
Kimi K2.6 Moonshot AI256K 토큰16K 토큰
Kimi K2.7 Code Moonshot AI256K 토큰128K 토큰
Kimi K2.7 Code Highspeed Moonshot AI256K 토큰128K 토큰
Mistral Small 4 Mistral AI256K 토큰64K 토큰
Qwen3.5 4B Alibaba Cloud256K 토큰32K 토큰
Qwen3.5 9B Alibaba Cloud256K 토큰32K 토큰
Qwen3.8 27B Alibaba Cloud256K 토큰32K 토큰
Step 3.5 Flash StepFun256K 토큰128K 토큰
Step 3.5 Flash 2603 StepFun256K 토큰128K 토큰
Step 3.7 Flash StepFun256K 토큰128K 토큰
StepAudio 2.5 Chat StepFun256K 토큰128K 토큰
StepAudio 2.5 Realtime StepFun256K 토큰128K 토큰
StepAudio 3 Chat StepFun256K 토큰128K 토큰
StepAudio 3 Realtime StepFun256K 토큰128K 토큰
Qwen Audio 3.1 Realtime Flash Alibaba Cloud240K 토큰16K 토큰
Qwen Audio 3.1 Realtime Plus Alibaba Cloud240K 토큰16K 토큰
Seed 2.0 Mini ByteDance229.2K 토큰128K 토큰
Seed 2.0 Code ByteDance229.1K 토큰128K 토큰
Seed 2.0 Lite ByteDance229.1K 토큰128K 토큰
Seed 2.0 Pro ByteDance229.1K 토큰128K 토큰
Seed 2.1 Turbo ByteDance229.1K 토큰64K 토큰
Qwen3.6 27B Alibaba Cloud224K 토큰64K 토큰
GLM 4.7 Flash Z.ai202.8K 토큰128K 토큰
GLM 4.7 FlashX Z.ai202.8K 토큰128K 토큰
GLM 5.1 Z.ai202.7K 토큰128K 토큰
Qwen3.5 Omni Flash Alibaba Cloud192K 토큰32K 토큰
Qwen3.5 Omni Flash Realtime Alibaba Cloud192K 토큰64K 토큰
Qwen3.5 Omni Plus Alibaba Cloud192K 토큰32K 토큰
Qwen3.5 Omni Plus Realtime Alibaba Cloud192K 토큰64K 토큰
Qwen3.8 Omni Flash Realtime Alibaba Cloud192K 토큰64K 토큰
DeepReasoning WinFunc160K 토큰32K 토큰
Nova Micro 1.0 Amazon133K 토큰10K 토큰
GLM 4.5 Flash Z.ai128K 토큰96K 토큰
GLM 4.6V Flash Z.ai128K 토큰32K 토큰
GLM 4.6V FlashX Z.ai128K 토큰32K 토큰
Gemini 3.8 Live Google128K 토큰64K 토큰
Gemini 3.8 Live Extended Thinking Google128K 토큰64K 토큰
Gemma 3 27B Google128K 토큰16K 토큰
Muse Glimmer 30B Meta AI128K 토큰32K 토큰
Qwen3.6 35B A3B Alibaba Cloud128K 토큰16K 토큰
Mistral Small 3.1 Mistral AI89.6K 토큰32K 토큰
Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud48K 토큰4K 토큰
Qwen Audio 3.0 Realtime Flash Alibaba Cloud16K 토큰8K 토큰
Qwen Audio 3.0 Realtime Plus Alibaba Cloud16K 토큰8K 토큰
Skylark Embedding Vision ByteDance8K 토큰-
Text Embedding v4 Alibaba Cloud8K 토큰-
Qwen3 Rerank Alibaba Cloud4K 토큰-
Tongyi Embedding Vision Flash Alibaba Cloud1K 토큰-
Tongyi Embedding Vision Plus Alibaba Cloud1K 토큰-

자주 묻는 질문

응답이 맥락 창에 반영되나요?

네. 입력과 출력이 창을 공유하기 때문에, 긴 프롬프트는 답변을 위한 공간이 줄어듭니다. API는 입력과 max_tokens을 설정하면 요청을 실행하기 전에 창과 함께 검사합니다.

내 프롬프트가 컨텍스트 창보다 길면 어떻게 되나요?

API는 생성 전에 코드가 context_length_exceeded된 400 오류를 반환하며, 요청은 청구되지 않습니다. 입력 값을 줄이거나 max_tokens을 낮춘 후 다시 전송하세요.

컨텍스트 윈도우가 최대 출력과 같나요?

아니요. 컨텍스트 창은 입력과 출력을 함께 다루며, 최대 출력은 모델이 한 응답에 기록할 토큰 수를 제한합니다. 두 토큰 모두 각 모델별로 나열되어 있습니다.

요청을 보내기 전에 토큰 수를 어떻게 세나요?

요청 본문을 POST /v1/messages/count_tokens에 보내 입력 토큰 추정치를 받으세요. 이 값은 청구되지 않습니다. 각 응답의 usage 객체는 정확한 개수를 보고합니다.

더 나은 엔드포인트를 사용할 준비가 되셨나요?

저희 가격을 확인하시거나 저희 스택에 자체 모델을 배포하고 싶으시면 연락해 주세요.