AI मॉडल्स में टोकन क्या होते हैं?

टोकन वे इकाइयाँ हैं जिन्हें भाषा मॉडल पढ़ता और लिखता है: शब्द, शब्दों के टुकड़े, संख्याएँ या विराम चिह्न। टेक्स्ट मॉडल इनपुट और आउटपुट टोकन को 1M टोकन के लिए अलग-अलग दरों पर बिल करते हैं, जबकि कई मीडिया और सर्च मॉडल प्रति छवि, सेकंड, अक्षर, मिनट या अनुरोध के अनुसार बिल करते हैं।

अवधारणाएँ

कैसे टेक्स्ट टोकन बन जाता है

एक भाषा मॉडल अक्षरों या शब्दों को सीधे नहीं पढ़ता। टोकनाइज़र पहले टेक्स्ट को एक निश्चित शब्दावली से टुकड़ों में विभाजित करता है और प्रत्येक टुकड़े को एक संख्या में मैप करता है, और मॉडल उन संख्याओं को पढ़ता और लिखता है। सामान्य शब्द आमतौर पर एक टोकन होते हैं, जबकि लंबे या दुर्लभ शब्द कई टुकड़ों में विभाजित होते हैं। स्पेस आमतौर पर उस शब्द से जुड़े होते हैं जो उनके बाद आता है, और विराम चिह्न अक्सर अपने स्वयं के टोकन होते हैं।

एक अनुमान के रूप में, एक टोकन लगभग चार अक्षरों के अंग्रेज़ी पाठ का होता है, या लगभग तीन चौथाई शब्द का, इसलिए 1,000 शब्द लगभग 1,300 टोकन बनते हैं। कोड, संख्याएँ और कई अन्य भाषाएँ समान मात्रा में टेक्स्ट के लिए अधिक टोकन का उपयोग करती हैं। प्रत्येक मॉडल परिवार का अपना टोकनाइज़र होता है, इसलिए एक ही प्रॉम्प्ट विभिन्न मॉडलों पर अलग-अलग काउंट उत्पन्न कर सकता है, और प्रयोग हर प्रतिक्रिया में ऑब्जेक्ट मॉडल द्वारा उपयोग की गई सटीक गिनती रिपोर्ट करता है।

जो मॉडल इमेज, ऑडियो या वीडियो स्वीकार करते हैं, वे उन इनपुट्स को टोकन में भी बदलते हैं, और कुछ टोकन अपनी ही दर पर कीमत लगाते हैं।

इनपुट टोकन और आउटपुट टोकन

इनपुट टोकन वे सभी चीजें हैं जो आप भेजते हैं: सिस्टम प्रॉम्प्ट, बातचीत, टूल की परिभाषाएं और कोई भी संलग्न सामग्री। आउटपुट टोकन वे सभी चीजें हैं जो मॉडल उत्पन्न करता है। एक पर तर्क मॉडल इसमें वह तर्क भी शामिल है जो वह उत्तर से पहले लिखता है, जिसे तब भी बिल किया जाता है जब मॉडल अपना पाठ वापस नहीं करता।

टेक्स्ट मॉडल दोनों की अलग-अलग कीमत रखते हैं, और आउटपुट टोकन आमतौर पर इनपुट टोकन से अधिक महंगे होते हैं। दो अन्य दरें लागू हो सकती हैं: उन मॉडलों पर कम दर पर कैश्ड इनपुट बिल जो समर्थन करते हैं प्रॉम्प्ट कैशिंग, और कुछ मॉडल इनपुट के एक निर्धारित लंबाई पार करने पर अधिक दर चार्ज करते हैं।

प्रत्येक प्रतिक्रिया रिपोर्ट करती है कि उसने क्या उपयोग किया। चैट पूर्णता लौटती है prompt_tokens, completion_tokens तथा total_tokens, और cost_usd अनुरोध के लिए चार्ज की गई राशि देता है। इनपुट भेजने से पहले अनुमान लगाने के लिए, पोस्ट /v1/messages/count_tokens एक काउंट लौटाता है और बिल नहीं किया जाता।

1M टोकन पर कीमतें क्यों उद्धृत की जाती हैं

एक एकल टोकन की लागत बहुत कम होती है, इसलिए 1M टोकन पर टेक्स्ट दरें उद्धृत की जाती हैं ताकि संख्याएँ पढ़ने योग्य और तुलना में आसान बनी रहें। अनुरोध की लागत का अनुमान लगाने के लिए, उसके इनपुट टोकन को 1,000,000 से विभाजित करें और इनपुट दर से गुणा करें, आउटपुट टोकन के लिए भी आउटपुट दर के साथ ऐसा करें, और दोनों जोड़ें। किसी एप्लिकेशन के लिए, उस आंकड़े को अपेक्षित अनुरोधों की संख्या से गुणा करें।

मशीन-पठनीय मूल्य निर्धारण पर आपत्ति /v1/models लागत की गणना करने वाले कोड के लिए स्ट्रिंग्स के समान दरें देता है।

मॉडल जो अन्य इकाइयों में बिल करते हैं

हर मॉडल टोकन के अनुसार बिल नहीं करता। यूनिट उस मॉडल का अनुसरण करता है जो मॉडल बनाता है या प्रोसेस करता है:

  • छवि निर्माण: प्रति इमेज।
  • वीडियो निर्माण: वीडियो के प्रति सेकंड, या प्रति वीडियो।
  • भाषण और ऑडियो जनरेशन: इनपुट टेक्स्ट के अक्षरों द्वारा, ऑडियो के प्रति सेकंड के अनुसार, या टोकन के अनुसार।
  • प्रतिलेखन: प्रति मिनट या घंटे की ऑडियो के लिए, या ऑडियो टोकन के माध्यम से।
  • खोज और शोध: खोज, अनुरोध या कार्य के अनुसार, कभी-कभी टोकन के साथ।
  • 3D पीढ़ी: अनुरोध के अनुसार।

कैटलॉग में उपयोग में आने वाली इकाइयाँ इस पृष्ठ पर सूचीबद्ध हैं, और प्रत्येक मॉडल पृष्ठ अपनी खुद की दिखाता है। आप चलते-चलते भुगतान कर सकते हैं, या साप्ताहिक भत्तों वाली योजना चुन सकते हैं, और ये भत्ते समान प्रकार की इकाइयों का उपयोग करते हैं: टेक्स्ट मॉडल के लिए टोकन, वीडियो के सेकंड, चित्र, ट्रांसक्रिप्शन के मिनट और भाषण के अक्षर। देखना मूल्य निर्धारण और मॉडल और मूल्य निर्धारण मार्गदर्शिका।.

EmpirioLabs AI पर मॉडलों का बिल कैसे बनता है

206 मॉडलों में से हर एक की मुख्य दर की बिलिंग इकाई, लाइव रेट कार्ड से।

बिलिंग इकाईमॉडलउदाहरण
प्रति 1M टोकन104GLM 5.3, GLM 5.3 Flash, GLM 5.2
प्रति सेकंड कीमत42Kling 3.0 Turbo, ACE-Step 1.5 XL, MiniMax Music 3
प्रति इमेज कीमत18FLUX.2 Klein 4B, Qwen Image 3.0, Seedream 5.5
प्रति अनुरोध कीमत16TRELLIS.2 4B, Exa Answer, Exa Search
टेक्स्ट के अक्षरों के हिसाब से कीमत11TTS 2, TTS 1.5 Mini, TTS 1.5 Max
ऑडियो के प्रति मिनट या घंटे की कीमत10Whisper Large v3 Turbo, Deepgram Nova-3, OpenAI Whisper 1
अन्य इकाइयाँ3DeepReasoning, GPTZero, LightOnOCR-3 4B
प्रति वीडियो कीमत2Pixverse v5, Pixverse v5.6

अक्सर पूछे जाने वाले प्रश्न

1M टोकन कितने शब्दों में होते हैं?

अंग्रेज़ी में, 1M टोकन लगभग 750,000 शब्दों के होते हैं, जो लगभग चार अक्षरों प्रति टोकन के अनुमान का उपयोग करते हैं। सटीक गिनती मॉडल के टोकनाइज़र और भाषा पर निर्भर करती है।

क्या इनपुट और आउटपुट टोकन की कीमत समान होती है?

नहीं। टेक्स्ट मॉडल इनपुट और आउटपुट टोकन की अलग-अलग कीमत तय करते हैं, और आउटपुट टोकन आमतौर पर अधिक महंगे होते हैं। प्रत्येक मॉडल दोनों दरों को सूचीबद्ध करता है।

क्या इमेज और ऑडियो टोकन के रूप में गिने जाते हैं?

उन मॉडलों में जो उन्हें इनपुट के रूप में स्वीकार करते हैं, हाँ: छवियां, ऑडियो और वीडियो टोकन में परिवर्तित हो जाते हैं, और कुछ मॉडल उन टोकनों की अपनी कीमत पर तय करते हैं। जो मॉडल छवियां, वीडियो या भाषण उत्पन्न करते हैं, वे आमतौर पर प्रति छवि, सेकंड या कैरेक्टर के लिए बिल करते हैं।

मैं कैसे देख सकता हूँ कि किसी अनुरोध में कितने टोकन इस्तेमाल हुए?

हर प्रतिक्रिया में एक उपयोग ऑब्जेक्ट शामिल होता है जिसमें इनपुट और आउटपुट टोकन काउंट होते हैं। डैशबोर्ड उपयोग लॉग और खाता उपयोग API प्रत्येक अनुरोध के लिए समान गिनती रिकॉर्ड करते हैं।

बेहतर समापन बिंदुओं का उपयोग करने के लिए तैयार हैं?

हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।