एक संदर्भ विंडो वह अधिकतम टोकन संख्या है जिन्हें एक भाषा मॉडल एक अनुरोध में संभाल सकता है, जिसमें वह जो कुछ भी पढ़ता है (निर्देश, बातचीत इतिहास, दस्तावेज़ और उपकरण परिभाषाएँ) उसके द्वारा लिखे गए टोकन शामिल होते हैं। जो अनुरोध फिट नहीं होता, उसे छोटा या विभाजित करना पड़ता है।
संदर्भ विंडो को मापा जाता है टोकन. मॉडल जो कुछ भी एक ही अनुरोध में पढ़ता है, वह उसके लिए गिना जाता है:
मॉडल द्वारा उत्पन्न टोकन एक ही विंडो साझा करते हैं, जिसमें एक के तर्क टोकन भी शामिल हैं तर्क मॉडल. हर चैट अनुरोध अब तक की बातचीत को आगे बढ़ाता है संदेश, इसलिए एक लंबी बातचीत हर मोड़ पर अपनी पूरी इतिहास भेजती है और जैसे-जैसे वह बढ़ती है, सीमा के करीब जाती है। उदाहरण के लिए, लगभग 500 टोकन के 20 टर्न अगले अनुरोध में लगभग 10,000 टोकन इतिहास जोड़ते हैं, नए संदेश और उत्तर से पहले।
एक मॉडल की दो अलग-अलग सीमाएँ होती हैं। संदर्भ विंडो इनपुट और आउटपुट को एक साथ कवर करती है। अधिकतम आउटपुट वह अधिकतम टोकन होता है जो मॉडल एक प्रतिक्रिया में लिख सकता है, और यह आमतौर पर विंडो से छोटा होता है। /v1/models दोनों की रिपोर्ट करता है, जैसा कि context_window (यह भी context_length) और max_output_tokens।.
आप प्रत्येक अनुरोध के लिए अपनी खुद की आउटपुट सीमा सेट कर सकते हैं। max_tokens उत्पन्न टोकन को सीमित करता है, और max_completion_tokens तर्क और उत्तर को एक साथ सीमित करता है; जब आप दोनों भेजते हैं, तो छोटा वाला लागू होता है। एक प्रतिक्रिया जो सीमा तक पहुंचती है, वह जल्दी रुक जाती है finish_reason पर सेट करें लंबाई, इसलिए यदि उत्तर वाक्य के बीच में समाप्त हो जाएं तो सीमा बढ़ाएं। पर TOKEN वही सीमा है max_output_tokens, और इसके द्वारा कट गया जवाब स्थिति के साथ समाप्त होता है अधूरा।.
जब इनपुट, साथ में max_tokens यदि आप इसे सेट करते हैं, जो मॉडल के संदर्भ विंडो से लंबा है, तो EmpirioLabs AI लौटाता है 400 कोड के साथ context_length_exceeded किसी भी पीढ़ी के शुरू होने से पहले, और अनुरोध को बिल नहीं किया जाता। इनपुट को छोटा करें या कम करें max_tokens, फिर इसे फिर से भेजें। एजेंट फ्रेमवर्क जो बातचीत को कॉम्पैक्ट करते हैं, वे इस कोड का उपयोग अपने संकेत के रूप में करते हैं। त्रुटियाँ संदर्भ पूरा जवाब दिखाता है।
अनुरोध भेजने से पहले उसे जांचने के लिए, पोस्ट /v1/messages/count_tokens अपने इनपुट टोकन का अनुमान लौटाता है और बिल नहीं किया जाता। प्रयोग प्रत्येक प्रतिक्रिया में object फिर सटीक संख्या रिपोर्ट करता है।
max_tokens काम पर। लंबाई जांच गिनी जाती है max_tokens इनपुट के साथ मिलकर, ताकि एक बड़ा मान उस अनुरोध को अस्वीकार कर सके जिसका इनपुट अन्यथा फिट होता।एक बड़ा विंडो हमेशा बेहतर नहीं होता। एक मॉडल बहुत लंबे इनपुट में विवरणों को नजरअंदाज कर सकता है, इसलिए एक छोटा, प्रासंगिक संदर्भ अक्सर लंबे संदर्भ की तुलना में अधिक सटीक उत्तर देता है। संदर्भ विंडो की तुलना करें टेक्स्ट मॉडल, या लंबे प्रॉम्प्ट्स का परीक्षण करें Playground।.
96 मॉडल कॉन्टेक्स्ट विंडो बताते हैं। हर मॉडल के पेज पर पूरी स्पेसिफ़िकेशन और सीमाएँ हैं।
| मॉडल | कॉन्टेक्स्ट विंडो | अधिकतम आउटपुट |
|---|---|---|
| Step 5 Preview StepFun | 1.02M टोकन | 128K टोकन |
| Qwen3.8 Omni Flash Alibaba Cloud | 1.01M टोकन | 128K टोकन |
| Aplomb 1 EmpirioLabs | 1M टोकन | - |
| DeepSeek V4 Flash 0731 DeepSeek | 1M टोकन | 384K टोकन |
| DeepSeek V4 Pro DeepSeek | 1M टोकन | 384K टोकन |
| DeepSeek V4 Pro 0813 DeepSeek | 1M टोकन | 384K टोकन |
| DeepSeek V4.1 Flash 1017 DeepSeek | 1M टोकन | 384K टोकन |
| Fugu Max Sakana AI | 1M टोकन | 128K टोकन |
| मॉडल | कॉन्टेक्स्ट विंडो | अधिकतम आउटपुट |
|---|---|---|
| Fugu Ultra v1.0 Sakana AI | 1M टोकन | 128K टोकन |
| Fugu Ultra v1.1 Sakana AI | 1M टोकन | 128K टोकन |
| Fugu Ultra v2.0 Sakana AI | 1M टोकन | 128K टोकन |
| GLM 5.2 Z.ai | 1M टोकन | 128K टोकन |
| GLM 5.3 Z.ai | 1M टोकन | 128K टोकन |
| GLM 5.3 Flash Z.ai | 1M टोकन | 128K टोकन |
| Kimi K3 Moonshot AI | 1M टोकन | 128K टोकन |
| Kimi K3.1 Pro Moonshot AI | 1M टोकन | 128K टोकन |
| MiMo V2.6 Flash Xiaomi | 1M टोकन | 128K टोकन |
| MiMo V2.6 Pro Xiaomi | 1M टोकन | 128K टोकन |
| MiMo V2.6 Pro UltraSpeed Xiaomi | 1M टोकन | 128K टोकन |
| MiniMax M3 MiniMax | 1M टोकन | 512K टोकन |
| MiniMax M3.1 Flash MiniMax | 1M टोकन | 512K टोकन |
| Muse Spark 1.1 Meta AI | 1M टोकन | 128K टोकन |
| Muse Spark 1.2 Meta AI | 1M टोकन | 128K टोकन |
| Muse Spark 1.3 Meta AI | 1M टोकन | 128K टोकन |
| Nova Lite 2 Amazon | 1M टोकन | 128K टोकन |
| Qwen3.5 Flash Alibaba Cloud | 995.9K टोकन | 32K टोकन |
| Qwen3.5 Plus Alibaba Cloud | 983.6K टोकन | 64K टोकन |
| Qwen3.6 Flash Alibaba Cloud | 983.6K टोकन | 64K टोकन |
| Qwen3.6 Plus Alibaba Cloud | 983.6K टोकन | 64K टोकन |
| Qwen3.7 Flash Alibaba Cloud | 983.6K टोकन | 64K टोकन |
| Qwen3.7 Max Alibaba Cloud | 983.6K टोकन | 64K टोकन |
| Qwen3.7 Plus Alibaba Cloud | 983.6K टोकन | 64K टोकन |
| Qwen3.8 Flash Alibaba Cloud | 983.6K टोकन | 128K टोकन |
| Qwen3.8 Max Alibaba Cloud | 983.6K टोकन | 128K टोकन |
| Qwen3.8 Max 0902 Alibaba Cloud | 983.6K टोकन | 128K टोकन |
| Qwen4 Max Alibaba Cloud | 983.6K टोकन | 256K टोकन |
| Perplexity Deep Research Perplexity | 919.3K टोकन | - |
| Perplexity Sonar Perplexity | 919.3K टोकन | - |
| Perplexity Sonar Pro Perplexity | 919.3K टोकन | 32K टोकन |
| Perplexity Sonar Reasoning Pro Perplexity | 919.3K टोकन | 128K टोकन |
| Nova Lite 1.0 Amazon | 317.4K टोकन | 10K टोकन |
| Nova Pro 1.0 Amazon | 317.3K टोकन | 10K टोकन |
| Qwen3.5 122B-A10B Alibaba Cloud | 258K टोकन | 64K टोकन |
| Qwen3.5 27B Alibaba Cloud | 258K टोकन | 64K टोकन |
| Qwen3.5 35B-A3B Alibaba Cloud | 258K टोकन | 64K टोकन |
| Qwen3.5 397B-A17B Alibaba Cloud | 258K टोकन | 64K टोकन |
| Gemma 4 26B-A4B Google | 256K टोकन | 32K टोकन |
| Kimi K2.6 Moonshot AI | 256K टोकन | 16K टोकन |
| Kimi K2.7 Code Moonshot AI | 256K टोकन | 128K टोकन |
| Kimi K2.7 Code Highspeed Moonshot AI | 256K टोकन | 128K टोकन |
| Mistral Small 4 Mistral AI | 256K टोकन | 64K टोकन |
| Qwen3.5 4B Alibaba Cloud | 256K टोकन | 32K टोकन |
| Qwen3.5 9B Alibaba Cloud | 256K टोकन | 32K टोकन |
| Qwen3.8 27B Alibaba Cloud | 256K टोकन | 32K टोकन |
| Step 3.5 Flash StepFun | 256K टोकन | 128K टोकन |
| Step 3.5 Flash 2603 StepFun | 256K टोकन | 128K टोकन |
| Step 3.7 Flash StepFun | 256K टोकन | 128K टोकन |
| StepAudio 2.5 Chat StepFun | 256K टोकन | 128K टोकन |
| StepAudio 2.5 Realtime StepFun | 256K टोकन | 128K टोकन |
| StepAudio 3 Chat StepFun | 256K टोकन | 128K टोकन |
| StepAudio 3 Realtime StepFun | 256K टोकन | 128K टोकन |
| Qwen Audio 3.1 Realtime Flash Alibaba Cloud | 240K टोकन | 16K टोकन |
| Qwen Audio 3.1 Realtime Plus Alibaba Cloud | 240K टोकन | 16K टोकन |
| Seed 2.0 Mini ByteDance | 229.2K टोकन | 128K टोकन |
| Seed 2.0 Code ByteDance | 229.1K टोकन | 128K टोकन |
| Seed 2.0 Lite ByteDance | 229.1K टोकन | 128K टोकन |
| Seed 2.0 Pro ByteDance | 229.1K टोकन | 128K टोकन |
| Seed 2.1 Turbo ByteDance | 229.1K टोकन | 64K टोकन |
| Qwen3.6 27B Alibaba Cloud | 224K टोकन | 64K टोकन |
| GLM 4.7 Flash Z.ai | 202.8K टोकन | 128K टोकन |
| GLM 4.7 FlashX Z.ai | 202.8K टोकन | 128K टोकन |
| GLM 5.1 Z.ai | 202.7K टोकन | 128K टोकन |
| Qwen3.5 Omni Flash Alibaba Cloud | 192K टोकन | 32K टोकन |
| Qwen3.5 Omni Flash Realtime Alibaba Cloud | 192K टोकन | 64K टोकन |
| Qwen3.5 Omni Plus Alibaba Cloud | 192K टोकन | 32K टोकन |
| Qwen3.5 Omni Plus Realtime Alibaba Cloud | 192K टोकन | 64K टोकन |
| Qwen3.8 Omni Flash Realtime Alibaba Cloud | 192K टोकन | 64K टोकन |
| DeepReasoning WinFunc | 160K टोकन | 32K टोकन |
| Nova Micro 1.0 Amazon | 133K टोकन | 10K टोकन |
| GLM 4.5 Flash Z.ai | 128K टोकन | 96K टोकन |
| GLM 4.6V Flash Z.ai | 128K टोकन | 32K टोकन |
| GLM 4.6V FlashX Z.ai | 128K टोकन | 32K टोकन |
| Gemini 3.8 Live Google | 128K टोकन | 64K टोकन |
| Gemini 3.8 Live Extended Thinking Google | 128K टोकन | 64K टोकन |
| Gemma 3 27B Google | 128K टोकन | 16K टोकन |
| Muse Glimmer 30B Meta AI | 128K टोकन | 32K टोकन |
| Qwen3.6 35B A3B Alibaba Cloud | 128K टोकन | 16K टोकन |
| Mistral Small 3.1 Mistral AI | 89.6K टोकन | 32K टोकन |
| Qwen3.8 LiveTranslate Flash Realtime Alibaba Cloud | 48K टोकन | 4K टोकन |
| Qwen Audio 3.0 Realtime Flash Alibaba Cloud | 16K टोकन | 8K टोकन |
| Qwen Audio 3.0 Realtime Plus Alibaba Cloud | 16K टोकन | 8K टोकन |
| Skylark Embedding Vision ByteDance | 8K टोकन | - |
| Text Embedding v4 Alibaba Cloud | 8K टोकन | - |
| Qwen3 Rerank Alibaba Cloud | 4K टोकन | - |
| Tongyi Embedding Vision Flash Alibaba Cloud | 1K टोकन | - |
| Tongyi Embedding Vision Plus Alibaba Cloud | 1K टोकन | - |
हाँ। इनपुट और आउटपुट विंडो साझा करते हैं, इसलिए लंबा प्रॉम्प्ट जवाब के लिए कम जगह छोड़ता है। API इनपुट प्लस max_tokens को विंडो के खिलाफ चेक करता है इससे पहले कि वह रिक्वेस्ट चलाए।
API किसी भी जनरेशन से पहले कोड context_length_exceeded के साथ 400 त्रुटि लौटाता है, और अनुरोध बिल नहीं किया जाता। इनपुट को छोटा करें या max_tokens कम करें, फिर इसे फिर से भेजें।
नहीं। संदर्भ विंडो इनपुट और आउटपुट को एक साथ कवर करती है, जबकि अधिकतम आउटपुट यह सीमित करता है कि मॉडल एक प्रतिक्रिया में कितने टोकन लिखे। दोनों प्रत्येक मॉडल के लिए सूचीबद्ध होते हैं।
अनुरोध निकाय को POST /v1/messages/count_tokens को भेजें ताकि उसके इनपुट टोकन का अनुमान लगाया जा सके, जो बिल नहीं किया जाता। प्रत्येक प्रतिक्रिया में उपयोग ऑब्जेक्ट सटीक गिनती रिपोर्ट करता है।
हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।