प्रॉम्प्ट कैशिंग क्या है?

प्रॉम्प्ट कैशिंग मॉडल के प्रारंभिक प्रॉम्प्ट भाग की प्रोसेसिंग को पुनः उपयोग करता है। जब कोई अनुरोध हाल के टोकन के समान टोकन से शुरू होता है, तो वे कैश किए गए टोकन उन मॉडलों पर कम कैश रीड रेट पर बिल करते हैं जो एक को सूचीबद्ध करते हैं, और बाकी बिल्स सामान्य इनपुट दर पर।

अवधारणाएँ

प्रॉम्प्ट कैशिंग क्या है

किसी मॉडल द्वारा कुछ भी लिखने से पहले, वह इनपुट के हर टोकन को प्रोसेस करता है। कई एप्लिकेशन हर अनुरोध पर एक ही ओपनिंग टोकन भेजते हैं: एक लंबा सिस्टम प्रॉम्प्ट, टूल परिभाषाओं का सेट, एक संदर्भ दस्तावेज़, या बातचीत के शुरुआती चरण।

प्रॉम्प्ट कैशिंग उस उद्घाटन भाग के प्रोसेस किए गए परिणाम को रखता है, जिसे प्रीफिक्स कहा जाता है। जब बाद में अनुरोध बिल्कुल समान टोकन के साथ शुरू होता है, तो मॉडल कैश्ड प्रीफिक्स का पुन: उपयोग करता है और केवल उसके बाद आने वाले नए टोकन को संसाधित करता है। आउटपुट सामान्य तरीके से उत्पन्न होता है, इसलिए कैशिंग इनपुट को बिल करने का तरीका बदलता है, न कि मॉडल जो लिखता है उसे बदलता है।

एक सहायक पर विचार करें जिसकी सिस्टम प्रॉम्प्ट और टूल परिभाषाएं 4,000 टोकन तक आती हैं, उसके बाद 150-टोकन प्रश्न होता है। जब वह प्रारंभिक भाग कैश से पढ़ा जाता है, तो 4,150 इनपुट टोकन में से लगभग 4,000 कैश रीड रेट पर बिल करते हैं, और केवल प्रश्न पूर्ण इनपुट दर पर बिल करता है।

क्यों उपसर्ग को बिल्कुल मेल खाना चाहिए

कैश मैच पहले टोकन से शुरू होता है और पहले अंतर पर रुकता है। प्रॉम्प्ट की शुरुआत के पास एक ही बदला हुआ अक्षर, जैसे टाइमस्टैम्प, उपयोगकर्ता नाम या सिस्टम प्रॉम्प्ट में अनुरोध आईडी, कैश से पढ़े जाने के बाद कुछ भी नहीं होता। अपने कैश हिट रेट को बढ़ाने के लिए:

  • स्थिर सामग्री को प्राथमिकता दें। निर्देश, टूल परिभाषाएँ, उदाहरण और लंबे संदर्भ दस्तावेज़ शुरुआत में दिए जाते हैं। उपयोगकर्ता का प्रश्न, प्राप्त अंश और जो भी बदलाव होता है वह अंत में जाता है।
  • स्थिर भाग को समान रखें। टूल्स और उदाहरणों के लिए एक ही क्रम का उपयोग करें, हर अनुरोध पर एक ही शब्दावली और एक ही खाली स्थान का उपयोग करें।
  • संपादन के बजाय जोड़ें। बातचीत में, हर नए टर्न को अंत में जोड़ें और पहले के टर्न को अपरिवर्तित छोड़ दें, ताकि हर अनुरोध पिछले टर्न को बढ़ाता रहे।

एक मेल खाने वाला प्रीफिक्स कैश को संभावित पढ़ता है, निश्चित नहीं, इसलिए अपनी हिट रेट मापें, मान लेने के बजाय।

कैश किए गए इनपुट को कैसे बिल किया जाता हैEmpirioLabs AI

कैशिंग स्वचालित है। कोई कैश बनाने के लिए नहीं है और जोड़ने के लिए कोई मार्कर नहीं है: जो मॉडल इसे सपोर्ट करते हैं, उन पर दोहराए गए प्रीफिक्स अपने आप कैश हो जाते हैं।

  • कौन से मॉडल। जब कोई मॉडल कैश रीड प्राइस सूचीबद्ध करता है तो प्रॉम्प्ट कैशिंग का समर्थन करता है। इस पेज पर सूचीबद्ध मॉडलों में एक है।
  • बिलिंग। कैश्ड इनपुट टोकन कैश रीड रेट पर बिल करते हैं, जो मॉडल की सामान्य इनपुट दर से कम है। अनकैश्ड इनपुट और सभी आउटपुट टोकन सामान्य दरों पर बिल करते हैं।
  • कैटलॉग में API है। /v1/models दर को इस रूप में रिपोर्ट करता है input_cache_read में मूल्य निर्धारण. एक ऐसे मॉडल पर जिसमें कैश छूट नहीं होती, यह सामान्य इनपुट दर के बराबर होता है।
  • हर जवाब में। जब कैशिंग लागू होती है, प्रयोग उदाहरण के लिए, कैश्ड टोकन की रिपोर्ट करता है cache_read_input_tokens पर TOKEN तथा input_tokens_details.cached_tokens पर TOKEN।.
  • समय के साथ। द खाता उपयोग एपीआई वापसी cache_hit_rate, कैश से समय विंडो में सभी मॉडलों में या एक मॉडल के लिए इनपुट टोकन का हिस्सा।

कैश्ड टोकन अभी भी इनपुट होते हैं, इसलिए वे संदर्भ विंडो जैसे कोई भी अन्य टोकन।

कैशिंग सबसे ज्यादा मदद कहां करता है

  • चैट एप्लिकेशन और एजेंट जो हर मोड़ पर बढ़ती हुई बातचीत को फिर से भेजते हैं।
  • एक ही लंबे दस्तावेज़ या कोडबेस के खिलाफ कई सवाल पूछे जाते हैं।
  • निर्देशों और उदाहरणों के एक निश्चित ब्लॉक के साथ पुनः प्राप्ति-संवर्धित जनरेशन।
  • पाइपलाइन जो एक साझा सिस्टम प्रॉम्प्ट के साथ कई अनुरोध भेजती हैं।

जब हर प्रॉम्प्ट अपने पहले टोकन से अलग होता है, तो कैशिंग बहुत कम करता है। लागत पक्ष के लिए, देखें टोकन कैसे बिलिंग होते हैं और वर्तमान कैश रीड रेट्स पर मूल्य निर्धारण पृष्ठ।.

EmpirioLabs AI पर प्रॉम्प्ट कैशिंग वाले मॉडल

36 मॉडल अपनी इनपुट दर के साथ कैश्ड इनपुट दर भी दिखाते हैं, हर रेट कार्ड से लाइव पढ़ी गई।

मॉडलइनपुटकैश्ड इनपुट
GLM 4.5 Flash Z.aiमुफ्तमुफ्त
GLM 4.6V Flash Z.aiमुफ्तमुफ्त
GLM 4.7 Flash Z.aiमुफ्तमुफ्त
Qwen3.7 Flash Alibaba Cloud<=32K $0.03 32K-256K $0.10 256K-1M $0.20<=32K $0.006 32K-256K $0.02 256K-1M $0.04
GLM 4.6V FlashX Z.ai$0.04$0.036
Nova Micro 1.0 Amazon$0.040$0.0224
Qwen3.5 4B Alibaba Cloud$0.04$0.02
Gemma 4 26B-A4B Google$0.15$0.05$0.15$0.025
सभी 36 मॉडल दिखाएँ
मॉडलइनपुटकैश्ड इनपुट
Nova Lite 1.0 Amazon$0.069$0.0386
GLM 4.7 FlashX Z.ai$0.07$0.063
Qwen3.6 35B A3B Alibaba Cloud$0.248$0.07$0.035
Qwen3.5 9B Alibaba Cloud$0.10$0.09$0.045
Step 3.5 Flash StepFun$0.10$0.02
Step 3.5 Flash 2603 StepFun$0.10$0.02
MiniMax M3.1 Flash MiniMax$0.15$0.1125$0.015$0.01125
Qwen3.8 27B Alibaba Cloud$0.45$0.17$0.08
DeepSeek V4.1 Flash 1017 DeepSeek$0.20$0.02
Muse Glimmer 30B Meta AI$0.35$0.20$0.05
Step 3.7 Flash StepFun$0.20$0.04
MiniMax M3 MiniMax$0.30 <=512K $0.225 $0.60 >512K $0.45$0.06 <=512K $0.045 $0.12 >512K $0.09
Nova Lite 2 Amazon$0.38$0.2128
GLM 5.1 Z.ai$1.40 <=32K $0.825 $1.40 32K-200K $1.10$0.26 <=32K $0.165 $0.26 32K-200K $0.22
Kimi K2.6 Moonshot AI$0.95$0.8939$0.1788
Step 5 Preview StepFun$1.00$0.10
Muse Spark 1.1 Meta AI$1.25$1.00
Muse Spark 1.2 Meta AI$1.25$1.00
Muse Spark 1.3 Meta AI$1.25$1.00
Qwen4 Max Alibaba Cloud$1.50$0.075
StepAudio 2.5 Chat StepFun$1.50$0.30
StepAudio 2.5 Realtime StepFun$1.50$0.30
StepAudio 3 Chat StepFun$1.50$0.30
Fugu Max Sakana AI$2.00$0.25
Kimi K3.1 Pro Moonshot AI$2.00$0.184
Fugu Ultra v1.1 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v2.0 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v1.0 Sakana AI<=272K $7.50 >272K $15.00<=272K $1.50 >272K $3.00

अक्सर पूछे जाने वाले प्रश्न

क्या मुझे प्रॉम्प्ट कैशिंग चालू करनी चाहिए?

नहीं। जो मॉडल इसे सपोर्ट करते हैं, उन पर कैशिंग स्वचालित रूप से दोहराए गए प्रॉम्प्ट प्रीफिक्स पर लागू होती है। अपने प्रॉम्प्ट के उस हिस्से को रखें जो शुरुआत में नहीं बदलता ताकि उसका अधिकतम लाभ मिल सके।

कैश्ड इनपुट की लागत कितनी है?

कैश्ड इनपुट टोकन मॉडल की कैश रीड दर पर बिल करते हैं, जो उसकी सामान्य इनपुट दर से कम होती है। कैशिंग का समर्थन करने वाला प्रत्येक मॉडल अपनी कैश रीड प्राइस सूचीबद्ध करता है।

क्या प्रॉम्प्ट कैशिंग मॉडल के उत्तर को बदलती है?

नहीं। कैशिंग इनपुट को कैसे प्रोसेस और बिलिंग किया जाता है, इस पर निर्भर करता है। मॉडल अपना आउटपुट सामान्य तरीके से जनरेट करता है।

मैं कैसे जांच सकता हूँ कि मेरी रिक्वेस्ट कैश का उपयोग करती हैं या नहीं?

प्रत्येक प्रतिक्रिया में उपयोग ऑब्जेक्ट कैशिंग लागू होने पर कैश किए गए इनपुट टोकन की रिपोर्ट करता है। Account Usage API किसी भी समय विंडो के लिए, सभी मॉडलों में या एक के लिए कैश हिट रेट भी लौटाता है।

बेहतर समापन बिंदुओं का उपयोग करने के लिए तैयार हैं?

हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।