संदर्भ विंडो क्या है?

एक संदर्भ विंडो वह अधिकतम टोकन संख्या है जिन्हें एक भाषा मॉडल एक अनुरोध में संभाल सकता है, जिसमें वह जो कुछ भी पढ़ता है (निर्देश, बातचीत इतिहास, दस्तावेज़ और उपकरण परिभाषाएँ) उसके द्वारा लिखे गए टोकन शामिल होते हैं। जो अनुरोध फिट नहीं होता, उसे छोटा या विभाजित करना पड़ता है।

अवधारणाएँ

संदर्भ विंडो में क्या मायने रखता है

संदर्भ विंडो को मापा जाता है टोकन. मॉडल जो कुछ भी एक ही अनुरोध में पढ़ता है, वह उसके लिए गिना जाता है:

  • सिस्टम प्रॉम्प्ट और कोई भी निर्देश;
  • बातचीत के हर शुरुआती मोड़ जो तुम फिर से भेजते हो;
  • टूल की परिभाषाएँ और टूल परिणाम;
  • दस्तावेज़ और प्राप्त अंश जो आप शामिल करते हैं;
  • इमेजेस, ऑडियो और वीडियो, जो मॉडल उन्हें स्वीकार करते हैं वे टोकन में भी परिवर्तित हो जाते हैं।

मॉडल द्वारा उत्पन्न टोकन एक ही विंडो साझा करते हैं, जिसमें एक के तर्क टोकन भी शामिल हैं तर्क मॉडल. हर चैट अनुरोध अब तक की बातचीत को आगे बढ़ाता है संदेश, इसलिए एक लंबी बातचीत हर मोड़ पर अपनी पूरी इतिहास भेजती है और जैसे-जैसे वह बढ़ती है, सीमा के करीब जाती है। उदाहरण के लिए, लगभग 500 टोकन के 20 टर्न अगले अनुरोध में लगभग 10,000 टोकन इतिहास जोड़ते हैं, नए संदेश और उत्तर से पहले।

संदर्भ विंडो और अधिकतम आउटपुट

एक मॉडल की दो अलग-अलग सीमाएँ होती हैं। संदर्भ विंडो इनपुट और आउटपुट को एक साथ कवर करती है। अधिकतम आउटपुट वह अधिकतम टोकन होता है जो मॉडल एक प्रतिक्रिया में लिख सकता है, और यह आमतौर पर विंडो से छोटा होता है। /v1/models दोनों की रिपोर्ट करता है, जैसा कि context_window (यह भी context_length) और max_output_tokens।.

आप प्रत्येक अनुरोध के लिए अपनी खुद की आउटपुट सीमा सेट कर सकते हैं। max_tokens उत्पन्न टोकन को सीमित करता है, और max_completion_tokens तर्क और उत्तर को एक साथ सीमित करता है; जब आप दोनों भेजते हैं, तो छोटा वाला लागू होता है। एक प्रतिक्रिया जो सीमा तक पहुंचती है, वह जल्दी रुक जाती है finish_reason पर सेट करें लंबाई, इसलिए यदि उत्तर वाक्य के बीच में समाप्त हो जाएं तो सीमा बढ़ाएं। पर TOKEN वही सीमा है max_output_tokens, और इसके द्वारा कट गया जवाब स्थिति के साथ समाप्त होता है अधूरा।.

जब कोई अनुरोध बहुत लंबा हो

जब इनपुट, साथ में max_tokens यदि आप इसे सेट करते हैं, जो मॉडल के संदर्भ विंडो से लंबा है, तो EmpirioLabs AI लौटाता है 400 कोड के साथ context_length_exceeded किसी भी पीढ़ी के शुरू होने से पहले, और अनुरोध को बिल नहीं किया जाता। इनपुट को छोटा करें या कम करें max_tokens, फिर इसे फिर से भेजें। एजेंट फ्रेमवर्क जो बातचीत को कॉम्पैक्ट करते हैं, वे इस कोड का उपयोग अपने संकेत के रूप में करते हैं। त्रुटियाँ संदर्भ पूरा जवाब दिखाता है।

अनुरोध भेजने से पहले उसे जांचने के लिए, पोस्ट /v1/messages/count_tokens अपने इनपुट टोकन का अनुमान लौटाता है और बिल नहीं किया जाता। प्रयोग प्रत्येक प्रतिक्रिया में object फिर सटीक संख्या रिपोर्ट करता है।

विंडो के भीतर काम करना

  • कार्य को जो चाहिए भेजें। संबंधित अंशों को प्राप्त करें एम्बेडिंग्स पूरे दस्तावेज़ चिपकाने के बजाय।
  • पुराने मोड़ों को ट्रिम करें। जब बातचीत का काम में कोई महत्व नहीं होता, तो उन्हें संक्षेप में बताएं या छोड़ दें।
  • पहले स्थिर हिस्सा रखें। निर्देश और उपकरण की परिभाषाएँ जो कभी नहीं बदलतीं, शुरुआत में होती हैं, जहाँ प्रॉम्प्ट कैशिंग उन मॉडलों पर कम दर पर बिल किया जा सकता है जो इसे सपोर्ट करते हैं।
  • आकार वाला max_tokens काम पर। लंबाई जांच गिनी जाती है max_tokens इनपुट के साथ मिलकर, ताकि एक बड़ा मान उस अनुरोध को अस्वीकार कर सके जिसका इनपुट अन्यथा फिट होता।
  • लंबी संदर्भ वाली मूल्य निर्धारण देखें। आप हर अनुरोध पर हर इनपुट टोकन के लिए भुगतान करते हैं, और कुछ मॉडल एक निश्चित संख्या में टोकन पार करने पर अधिक दर चार्ज करते हैं।

एक बड़ा विंडो हमेशा बेहतर नहीं होता। एक मॉडल बहुत लंबे इनपुट में विवरणों को नजरअंदाज कर सकता है, इसलिए एक छोटा, प्रासंगिक संदर्भ अक्सर लंबे संदर्भ की तुलना में अधिक सटीक उत्तर देता है। संदर्भ विंडो की तुलना करें टेक्स्ट मॉडल, या लंबे प्रॉम्प्ट्स का परीक्षण करें Playground।.

EmpirioLabs AI पर कॉन्टेक्स्ट विंडो, सबसे बड़ी पहले

96 मॉडल कॉन्टेक्स्ट विंडो बताते हैं। हर मॉडल के पेज पर पूरी स्पेसिफ़िकेशन और सीमाएँ हैं।

मॉडलकॉन्टेक्स्ट विंडोअधिकतम आउटपुट
Step 5 Preview StepFun1.02M टोकन128K टोकन
Qwen3.8 Omni Flash Alibaba Cloud1.01M टोकन128K टोकन
Aplomb 1 EmpirioLabs1M टोकन-
DeepSeek V4 Flash 0731 DeepSeek1M टोकन384K टोकन
DeepSeek V4 Pro DeepSeek1M टोकन384K टोकन
DeepSeek V4 Pro 0813 DeepSeek1M टोकन384K टोकन
DeepSeek V4.1 Flash 1017 DeepSeek1M टोकन384K टोकन
Fugu Max Sakana AI1M टोकन128K टोकन
सभी 96 मॉडल दिखाएँ
मॉडलकॉन्टेक्स्ट विंडोअधिकतम आउटपुट
Fugu Ultra v1.0 Sakana AI1M टोकन128K टोकन
Fugu Ultra v1.1 Sakana AI1M टोकन128K टोकन
Fugu Ultra v2.0 Sakana AI1M टोकन128K टोकन
GLM 5.2 Z.ai1M टोकन128K टोकन
GLM 5.3 Z.ai1M टोकन128K टोकन
GLM 5.3 Flash Z.ai1M टोकन128K टोकन
Kimi K3 Moonshot AI1M टोकन128K टोकन
Kimi K3.1 Pro Moonshot AI1M टोकन128K टोकन
MiMo V2.6 Flash Xiaomi1M टोकन128K टोकन
MiMo V2.6 Pro Xiaomi1M टोकन128K टोकन
MiMo V2.6 Pro UltraSpeed Xiaomi1M टोकन128K टोकन
MiniMax M3 MiniMax1M टोकन512K टोकन
MiniMax M3.1 Flash MiniMax1M टोकन512K टोकन
Muse Spark 1.1 Meta AI1M टोकन128K टोकन
Muse Spark 1.2 Meta AI1M टोकन128K टोकन
Muse Spark 1.3 Meta AI1M टोकन128K टोकन
Nova Lite 2 Amazon1M टोकन128K टोकन
Qwen3.5 Flash Alibaba Cloud995.9K टोकन32K टोकन
Qwen3.5 Plus Alibaba Cloud983.6K टोकन64K टोकन
Qwen3.6 Flash Alibaba Cloud983.6K टोकन64K टोकन
Qwen3.6 Plus Alibaba Cloud983.6K टोकन64K टोकन
Qwen3.7 Flash Alibaba Cloud983.6K टोकन64K टोकन
Qwen3.7 Max Alibaba Cloud983.6K टोकन64K टोकन
Qwen3.7 Plus Alibaba Cloud983.6K टोकन64K टोकन
Qwen3.8 Flash Alibaba Cloud983.6K टोकन128K टोकन
Qwen3.8 Max Alibaba Cloud983.6K टोकन128K टोकन
Qwen3.8 Max 0902 Alibaba Cloud983.6K टोकन128K टोकन
Qwen4 Max Alibaba Cloud983.6K टोकन256K टोकन
Perplexity Deep Research Perplexity919.3K टोकन-
Perplexity Sonar Perplexity919.3K टोकन-
Perplexity Sonar Pro Perplexity919.3K टोकन32K टोकन
Perplexity Sonar Reasoning Pro Perplexity919.3K टोकन128K टोकन
Nova Lite 1.0 Amazon317.4K टोकन10K टोकन
Nova Pro 1.0 Amazon317.3K टोकन10K टोकन
Qwen3.5 122B-A10B Alibaba Cloud258K टोकन64K टोकन
Qwen3.5 27B Alibaba Cloud258K टोकन64K टोकन
Qwen3.5 35B-A3B Alibaba Cloud258K टोकन64K टोकन
Qwen3.5 397B-A17B Alibaba Cloud258K टोकन64K टोकन
Gemma 4 26B-A4B Google256K टोकन32K टोकन
Kimi K2.6 Moonshot AI256K टोकन16K टोकन
Kimi K2.7 Code Moonshot AI256K टोकन128K टोकन
Kimi K2.7 Code Highspeed Moonshot AI256K टोकन128K टोकन
Mistral Small 4 Mistral AI256K टोकन64K टोकन
Qwen3.5 4B Alibaba Cloud256K टोकन32K टोकन
Qwen3.5 9B Alibaba Cloud256K टोकन32K टोकन
Qwen3.8 27B Alibaba Cloud256K टोकन32K टोकन
Step 3.5 Flash StepFun256K टोकन128K टोकन
Step 3.5 Flash 2603 StepFun256K टोकन128K टोकन
Step 3.7 Flash StepFun256K टोकन128K टोकन
StepAudio 2.5 Chat StepFun256K टोकन128K टोकन
StepAudio 2.5 Realtime StepFun256K टोकन128K टोकन
StepAudio 3 Chat StepFun256K टोकन128K टोकन
StepAudio 3 Realtime StepFun256K टोकन128K टोकन
Qwen Audio 3.1 Realtime Flash Alibaba Cloud240K टोकन16K टोकन
Qwen Audio 3.1 Realtime Plus Alibaba Cloud240K टोकन16K टोकन
Seed 2.0 Mini ByteDance229.2K टोकन128K टोकन
Seed 2.0 Code ByteDance229.1K टोकन128K टोकन
Seed 2.0 Lite ByteDance229.1K टोकन128K टोकन
Seed 2.0 Pro ByteDance229.1K टोकन128K टोकन
Seed 2.1 Turbo ByteDance229.1K टोकन64K टोकन
Qwen3.6 27B Alibaba Cloud224K टोकन64K टोकन
GLM 4.7 Flash Z.ai202.8K टोकन128K टोकन
GLM 4.7 FlashX Z.ai202.8K टोकन128K टोकन
GLM 5.1 Z.ai202.7K टोकन128K टोकन
Qwen3.5 Omni Flash Alibaba Cloud192K टोकन32K टोकन
Qwen3.5 Omni Flash Realtime Alibaba Cloud192K टोकन64K टोकन
Qwen3.5 Omni Plus Alibaba Cloud192K टोकन32K टोकन
Qwen3.5 Omni Plus Realtime Alibaba Cloud192K टोकन64K टोकन
Qwen3.8 Omni Flash Realtime Alibaba Cloud192K टोकन64K टोकन
DeepReasoning WinFunc160K टोकन32K टोकन
Nova Micro 1.0 Amazon133K टोकन10K टोकन
GLM 4.5 Flash Z.ai128K टोकन96K टोकन
GLM 4.6V Flash Z.ai128K टोकन32K टोकन
GLM 4.6V FlashX Z.ai128K टोकन32K टोकन
Gemini 3.8 Live Google128K टोकन64K टोकन
Gemini 3.8 Live Extended Thinking Google128K टोकन64K टोकन
Gemma 3 27B Google128K टोकन16K टोकन
Muse Glimmer 30B Meta AI128K टोकन32K टोकन
Qwen3.6 35B A3B Alibaba Cloud128K टोकन16K टोकन
Mistral Small 3.1 Mistral AI89.6K टोकन32K टोकन
Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud48K टोकन4K टोकन
Qwen Audio 3.0 Realtime Flash Alibaba Cloud16K टोकन8K टोकन
Qwen Audio 3.0 Realtime Plus Alibaba Cloud16K टोकन8K टोकन
Skylark Embedding Vision ByteDance8K टोकन-
Text Embedding v4 Alibaba Cloud8K टोकन-
Qwen3 Rerank Alibaba Cloud4K टोकन-
Tongyi Embedding Vision Flash Alibaba Cloud1K टोकन-
Tongyi Embedding Vision Plus Alibaba Cloud1K टोकन-

अक्सर पूछे जाने वाले प्रश्न

क्या प्रतिक्रिया संदर्भ विंडो में गिनी जाती है?

हाँ। इनपुट और आउटपुट विंडो साझा करते हैं, इसलिए लंबा प्रॉम्प्ट जवाब के लिए कम जगह छोड़ता है। API इनपुट प्लस max_tokens को विंडो के खिलाफ चेक करता है इससे पहले कि वह रिक्वेस्ट चलाए।

अगर मेरा प्रॉम्प्ट कॉन्टेक्स्ट विंडो से लंबा हो तो क्या होगा?

API किसी भी जनरेशन से पहले कोड context_length_exceeded के साथ 400 त्रुटि लौटाता है, और अनुरोध बिल नहीं किया जाता। इनपुट को छोटा करें या max_tokens कम करें, फिर इसे फिर से भेजें।

क्या संदर्भ विंडो अधिकतम आउटपुट के समान है?

नहीं। संदर्भ विंडो इनपुट और आउटपुट को एक साथ कवर करती है, जबकि अधिकतम आउटपुट यह सीमित करता है कि मॉडल एक प्रतिक्रिया में कितने टोकन लिखे। दोनों प्रत्येक मॉडल के लिए सूचीबद्ध होते हैं।

अनुरोध भेजने से पहले टोकन कैसे गिनें?

अनुरोध निकाय को POST /v1/messages/count_tokens को भेजें ताकि उसके इनपुट टोकन का अनुमान लगाया जा सके, जो बिल नहीं किया जाता। प्रत्येक प्रतिक्रिया में उपयोग ऑब्जेक्ट सटीक गिनती रिपोर्ट करता है।

बेहतर समापन बिंदुओं का उपयोग करने के लिए तैयार हैं?

हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।