बैच अनुमान क्या है?

बैच अनुमान कई मॉडल अनुरोधों को एक कॉल के बजाय एक असिंक्रोनस जॉब के रूप में चलाता है। आप अनुरोधों की एक फ़ाइल अपलोड करते हैं, वे एक पूर्णता विंडो के भीतर चलते हैं, और आप परिणामों की एक फ़ाइल डाउनलोड करते हैं, जो बड़े कार्यों के लिए उपयुक्त है जिन्हें तुरंत उत्तर की आवश्यकता नहीं होती।

अवधारणाएँ

जब बैच अनुमान फिट बैठता है

अधिकांश मॉडल कॉल वास्तविक समय में होती हैं: एक एप्लिकेशन अनुरोध भेजता है और उत्तर का इंतजार करता है। कई वर्कलोड्स को सेकंडों में उत्तर की आवश्यकता नहीं होती। उत्पाद कैटलॉग का वर्गीकरण, दस्तावेज़ों के संग्रह का सारांश बनाना, हजारों रिकॉर्ड्स से फ़ील्ड निकालना या मूल्यांकन सेट के लिए आउटपुट उत्पन्न करना, ये सभी पृष्ठभूमि में चल सकते हैं और बाद में समाप्त हो सकते हैं।

बैच अनुमान इस तरह के काम को एक ही काम के रूप में चलाता है। आप हर अनुरोध एक साथ सबमिट करते हैं, नौकरी की स्थिति जांचते हैं, और सभी परिणामों को एक साथ इकट्ठा करते हैं। आपका कोड हजारों कनेक्शन खुला नहीं रखता या अपने अनुरोधों को गति नहीं देता, और कुछ मॉडलों में बैच अनुरोध वास्तविक समय में भेजे गए अनुरोधों से कम खर्च होते हैं।

बैच API कैसे काम करता है

  1. JSONL फ़ाइल लिखें। प्रत्येक पंक्ति में एक अनुरोध डालें। प्रत्येक पंक्ति में एक custom_id जो फ़ाइल में अद्वितीय है (अधिकतम 256 अक्षरों तक) और एक द्रव्‍य उसी अनुरोध के साथ जो आप रियल टाइम में भेजते हैं। एक लाइन भी सेट हो सकती है विधि सेवा मेरे के बाद तथा यूआरएल बैच एंडपॉइंट तक। एक फ़ाइल में 50,000 तक अनुरोध हो सकते हैं।
  2. इसे अपलोड करें। फ़ाइल को भेजें पोस्ट /v1/files साथ उद्देश्य पर सेट करें बैच।.
  3. बैच बनाएं। कॉल पोस्ट /v1/batches लौटाए गए के साथ input_file_id।. अंतिम बिंदु डिफ़ॉल्ट रूप से /v1/chat/completions, completion_window है 24 घंटे, और मेटाडेटा आपके अपने लेबल रखता है।
  4. इसकी स्थिति का सर्वेक्षण करें। कॉल /v1/batches/{batch_id}. यह है स्थिति आगे बढ़ता है मान्यता देना, in_progress तथा अंतिम रूप देना सेवा मेरे पूरा, या समाप्त होता है असफल, समाप्त हो चुका या रद्द किया गया।.
  5. परिणाम डाउनलोड करें। जब बैच समाप्त हो जाए, तो उन फ़ाइलों को प्राप्त करें जिनका नाम है output_file_id तथा error_file_id साथ /v1/files/{file_id}/content।.

द बैच API गाइड पूर्ण उदाहरण हैं, और बैच संदर्भ बनाएं हर फ़ील्ड को सूचीबद्ध करता है।

परिणाम पढ़ना

आउटपुट फ़ाइल में प्रत्येक सफल अनुरोध के लिए एक लाइन होती है, और त्रुटि फ़ाइल में प्रत्येक अनुरोध के लिए एक लाइन होती है जो सफल नहीं हुई। प्रत्येक पंक्ति में custom_id आप सेट करते हैं, इसलिए परिणामों को उस ID द्वारा अनुरोधों से मिलाएं। एक अनुरोध जो चला है उसके पास एक प्रतिक्रिया इसके साथ status_code तथा द्रव्‍य. एक अनुरोध जो कभी नहीं चला प्रतिक्रिया पर सेट करें शून्य और एक चूक कोड जैसे batch_expired या batch_cancelled।.

एक बैच जो 24 घंटे की विंडो समाप्त होने पर समाप्त नहीं हुआ है, और उसके अधूरे अनुरोध त्रुटि फ़ाइल में दिखाई देते हैं; उन्हें फिर से नए बैच में सबमिट करें। पोस्ट /v1/batches/{batch_id}/cancel बैच जल्दी बंद हो जाता है, और जो अनुरोध पहले से चल चुके हैं वे बिल पर बने रहते हैं। इनपुट फाइलें अपलोड के 7 दिन बाद समाप्त हो जाती हैं, और आउटपुट और त्रुटि फाइलें बैच समाप्त होने के 7 दिन बाद समाप्त हो जाती हैं, इसलिए परिणाम डाउनलोड करने से पहले ही हो जाती हैं।

पात्र मॉडल और बिलिंग

केवल बैच-योग्य मॉडल ही बैच में चल सकते हैं। /v1/models रिपोर्ट batch_supported प्रत्येक मॉडल के लिए, पात्र मॉडल पेज एक बैच API पंक्ति दिखाते हैं, और एक बैच जिसकी लाइनें अन्य मॉडलों के नाम रखती हैं, उसे बनाने पर अस्वीकृत कर दिया जाता है। इस पृष्ठ पर सूचीबद्ध मॉडल पात्र मॉडल हैं।

प्रत्येक लाइन चलने पर मॉडल की सूची कीमत पर बिल करती है, जो उसकी सूची कीमत से कम होती है batch_discount_pct. कुछ मॉडल बैच पर डिस्काउंट पर चलते हैं, और कुछ लिस्ट प्राइस पर, जहां मूल्य होता है 0. बैच छूट वाले मॉडल पर, बैच अनुरोध वेब खोज या अंतर्निहित उपकरणों का उपयोग नहीं कर सकते, इसलिए उन अनुरोधों को वास्तविक समय में भेजें। किसी कार्य की लागत का अनुमान लगाने के लिए, उसके टोकन को इस प्रकार गिनें जैसा कि वर्णित है टोकन क्या हैं, और पात्र की तुलना करें टेक्स्ट मॉडल।.

Batch API में उपलब्ध मॉडल

8 मॉडल। हर मॉडल के पेज पर उसका रेट कार्ड, पैरामीटर और कोड है।

मॉडलBatch APIश्रेणी
Mistral Small 4 Mistral AIउपलब्ध, सूची मूल्य पर 35% छूटपाठ निर्माण
Nova Lite 1.0 Amazonउपलब्ध, सूची मूल्य पर 35% छूटपाठ निर्माण
Nova Lite 2 Amazonउपलब्ध, सूची मूल्य पर 35% छूटपाठ निर्माण
Nova Micro 1.0 Amazonउपलब्ध, सूची मूल्य पर 35% छूटपाठ निर्माण
Nova Pro 1.0 Amazonउपलब्ध, सूची मूल्य पर 35% छूटपाठ निर्माण
Seed 2.0 Lite ByteDanceउपलब्धपाठ निर्माण
Seed 2.0 Mini ByteDanceउपलब्धपाठ निर्माण
Seed 2.0 Pro ByteDanceउपलब्धपाठ निर्माण

अक्सर पूछे जाने वाले प्रश्न

एक बैच में कितना समय लगता है?

एक बैच 24 घंटे की पूर्णता विंडो के भीतर चलता है। जो अनुरोध विंडो समाप्त होने पर नहीं चले हैं, वे त्रुटि फ़ाइल में समाप्त होने के रूप में लौटाए जाते हैं, ताकि आप उन्हें फिर से सबमिट कर सकें।

क्या बैच अनुमान वास्तविक समय के अनुरोधों से सस्ता है?

कुछ मॉडलों पर। प्रत्येक पात्र मॉडल अपनी बैच छूट सूचीबद्ध करता है, और 0 का मान होता है कि बैच मॉडल की सूची कीमत पर चलता है।

एक बैच में कितनी रिक्वेस्ट हो सकती हैं?

एक इनपुट फ़ाइल में प्रति पंक्ति एक, 50,000 तक अनुरोध हो सकते हैं, प्रत्येक की अपनी custom_id होती है।

क्या मैं बैच रद्द कर सकता हूँ?

हाँ। रद्द करने से उन अनुरोधों को रोक दिया जाता है जो नहीं चले हैं, जो त्रुटि फ़ाइल में cancelled के रूप में दिखाई देते हैं। जो अनुरोध पहले से चल चुके हैं वे बिल पर बने रहते हैं।

बेहतर समापन बिंदुओं का उपयोग करने के लिए तैयार हैं?

हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।