प्रॉम्प्ट कैशिंग मॉडल के प्रारंभिक प्रॉम्प्ट भाग की प्रोसेसिंग को पुनः उपयोग करता है। जब कोई अनुरोध हाल के टोकन के समान टोकन से शुरू होता है, तो वे कैश किए गए टोकन उन मॉडलों पर कम कैश रीड रेट पर बिल करते हैं जो एक को सूचीबद्ध करते हैं, और बाकी बिल्स सामान्य इनपुट दर पर।
किसी मॉडल द्वारा कुछ भी लिखने से पहले, वह इनपुट के हर टोकन को प्रोसेस करता है। कई एप्लिकेशन हर अनुरोध पर एक ही ओपनिंग टोकन भेजते हैं: एक लंबा सिस्टम प्रॉम्प्ट, टूल परिभाषाओं का सेट, एक संदर्भ दस्तावेज़, या बातचीत के शुरुआती चरण।
प्रॉम्प्ट कैशिंग उस उद्घाटन भाग के प्रोसेस किए गए परिणाम को रखता है, जिसे प्रीफिक्स कहा जाता है। जब बाद में अनुरोध बिल्कुल समान टोकन के साथ शुरू होता है, तो मॉडल कैश्ड प्रीफिक्स का पुन: उपयोग करता है और केवल उसके बाद आने वाले नए टोकन को संसाधित करता है। आउटपुट सामान्य तरीके से उत्पन्न होता है, इसलिए कैशिंग इनपुट को बिल करने का तरीका बदलता है, न कि मॉडल जो लिखता है उसे बदलता है।
एक सहायक पर विचार करें जिसकी सिस्टम प्रॉम्प्ट और टूल परिभाषाएं 4,000 टोकन तक आती हैं, उसके बाद 150-टोकन प्रश्न होता है। जब वह प्रारंभिक भाग कैश से पढ़ा जाता है, तो 4,150 इनपुट टोकन में से लगभग 4,000 कैश रीड रेट पर बिल करते हैं, और केवल प्रश्न पूर्ण इनपुट दर पर बिल करता है।
कैश मैच पहले टोकन से शुरू होता है और पहले अंतर पर रुकता है। प्रॉम्प्ट की शुरुआत के पास एक ही बदला हुआ अक्षर, जैसे टाइमस्टैम्प, उपयोगकर्ता नाम या सिस्टम प्रॉम्प्ट में अनुरोध आईडी, कैश से पढ़े जाने के बाद कुछ भी नहीं होता। अपने कैश हिट रेट को बढ़ाने के लिए:
एक मेल खाने वाला प्रीफिक्स कैश को संभावित पढ़ता है, निश्चित नहीं, इसलिए अपनी हिट रेट मापें, मान लेने के बजाय।
कैशिंग स्वचालित है। कोई कैश बनाने के लिए नहीं है और जोड़ने के लिए कोई मार्कर नहीं है: जो मॉडल इसे सपोर्ट करते हैं, उन पर दोहराए गए प्रीफिक्स अपने आप कैश हो जाते हैं।
/v1/models दर को इस रूप में रिपोर्ट करता है input_cache_read में मूल्य निर्धारण. एक ऐसे मॉडल पर जिसमें कैश छूट नहीं होती, यह सामान्य इनपुट दर के बराबर होता है।प्रयोग उदाहरण के लिए, कैश्ड टोकन की रिपोर्ट करता है cache_read_input_tokens पर TOKEN तथा input_tokens_details.cached_tokens पर TOKEN।.cache_hit_rate, कैश से समय विंडो में सभी मॉडलों में या एक मॉडल के लिए इनपुट टोकन का हिस्सा।कैश्ड टोकन अभी भी इनपुट होते हैं, इसलिए वे संदर्भ विंडो जैसे कोई भी अन्य टोकन।
जब हर प्रॉम्प्ट अपने पहले टोकन से अलग होता है, तो कैशिंग बहुत कम करता है। लागत पक्ष के लिए, देखें टोकन कैसे बिलिंग होते हैं और वर्तमान कैश रीड रेट्स पर मूल्य निर्धारण पृष्ठ।.
36 मॉडल अपनी इनपुट दर के साथ कैश्ड इनपुट दर भी दिखाते हैं, हर रेट कार्ड से लाइव पढ़ी गई।
| मॉडल | इनपुट | कैश्ड इनपुट |
|---|---|---|
| GLM 4.5 Flash Z.ai | मुफ्त | मुफ्त |
| GLM 4.6V Flash Z.ai | मुफ्त | मुफ्त |
| GLM 4.7 Flash Z.ai | मुफ्त | मुफ्त |
| Qwen3.7 Flash Alibaba Cloud | <=32K $0.03 32K-256K $0.10 256K-1M $0.20 | <=32K $0.006 32K-256K $0.02 256K-1M $0.04 |
| GLM 4.6V FlashX Z.ai | $0.04 | $0.036 |
| Nova Micro 1.0 Amazon | $0.040 | $0.0224 |
| Qwen3.5 4B Alibaba Cloud | $0.04 | $0.02 |
| Gemma 4 26B-A4B Google | $0.15$0.05 | $0.15$0.025 |
| मॉडल | इनपुट | कैश्ड इनपुट |
|---|---|---|
| Nova Lite 1.0 Amazon | $0.069 | $0.0386 |
| GLM 4.7 FlashX Z.ai | $0.07 | $0.063 |
| Qwen3.6 35B A3B Alibaba Cloud | $0.248$0.07 | $0.035 |
| Qwen3.5 9B Alibaba Cloud | $0.10$0.09 | $0.045 |
| Step 3.5 Flash StepFun | $0.10 | $0.02 |
| Step 3.5 Flash 2603 StepFun | $0.10 | $0.02 |
| MiniMax M3.1 Flash MiniMax | $0.15$0.1125 | $0.015$0.01125 |
| Qwen3.8 27B Alibaba Cloud | $0.45$0.17 | $0.08 |
| DeepSeek V4.1 Flash 1017 DeepSeek | $0.20 | $0.02 |
| Muse Glimmer 30B Meta AI | $0.35$0.20 | $0.05 |
| Step 3.7 Flash StepFun | $0.20 | $0.04 |
| MiniMax M3 MiniMax | $0.30 <=512K $0.225 $0.60 >512K $0.45 | $0.06 <=512K $0.045 $0.12 >512K $0.09 |
| Nova Lite 2 Amazon | $0.38 | $0.2128 |
| GLM 5.1 Z.ai | $1.40 <=32K $0.825 $1.40 32K-200K $1.10 | $0.26 <=32K $0.165 $0.26 32K-200K $0.22 |
| Kimi K2.6 Moonshot AI | $0.95$0.8939 | $0.1788 |
| Step 5 Preview StepFun | $1.00 | $0.10 |
| Muse Spark 1.1 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.2 Meta AI | $1.25 | $1.00 |
| Muse Spark 1.3 Meta AI | $1.25 | $1.00 |
| Qwen4 Max Alibaba Cloud | $1.50 | $0.075 |
| StepAudio 2.5 Chat StepFun | $1.50 | $0.30 |
| StepAudio 2.5 Realtime StepFun | $1.50 | $0.30 |
| StepAudio 3 Chat StepFun | $1.50 | $0.30 |
| Fugu Max Sakana AI | $2.00 | $0.25 |
| Kimi K3.1 Pro Moonshot AI | $2.00 | $0.184 |
| Fugu Ultra v1.1 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v2.0 Sakana AI | <=272K $5.00 >272K $10.00 | <=272K $0.50 >272K $1.00 |
| Fugu Ultra v1.0 Sakana AI | <=272K $7.50 >272K $15.00 | <=272K $1.50 >272K $3.00 |
नहीं। जो मॉडल इसे सपोर्ट करते हैं, उन पर कैशिंग स्वचालित रूप से दोहराए गए प्रॉम्प्ट प्रीफिक्स पर लागू होती है। अपने प्रॉम्प्ट के उस हिस्से को रखें जो शुरुआत में नहीं बदलता ताकि उसका अधिकतम लाभ मिल सके।
कैश्ड इनपुट टोकन मॉडल की कैश रीड दर पर बिल करते हैं, जो उसकी सामान्य इनपुट दर से कम होती है। कैशिंग का समर्थन करने वाला प्रत्येक मॉडल अपनी कैश रीड प्राइस सूचीबद्ध करता है।
नहीं। कैशिंग इनपुट को कैसे प्रोसेस और बिलिंग किया जाता है, इस पर निर्भर करता है। मॉडल अपना आउटपुट सामान्य तरीके से जनरेट करता है।
प्रत्येक प्रतिक्रिया में उपयोग ऑब्जेक्ट कैशिंग लागू होने पर कैश किए गए इनपुट टोकन की रिपोर्ट करता है। Account Usage API किसी भी समय विंडो के लिए, सभी मॉडलों में या एक के लिए कैश हिट रेट भी लौटाता है।
हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।