يقوم الاستدلال الدفعي بتشغيل العديد من طلبات النموذج كمهمة غير متزامنة واحدة بدلا من استدعاء واحد في كل مرة. تقوم بتحميل ملف من الطلبات، وتعمل ضمن نافذة إكمال، ثم تقوم بتنزيل ملف النتائج، وهو ما يناسب المهام الكبيرة التي لا تحتاج إلى إجابة فورية.
معظم استدعاءات النماذج تكون في الوقت الحقيقي: يرسل التطبيق طلبا وينتظر الرد. العديد من أعباء العمل لا تحتاج إلى إجابة خلال ثوان. تصنيف كتالوج المنتجات، تلخيص أرشيف المستندات، استخراج الحقول من آلاف السجلات أو توليد مخرجات لمجموعة تقييم يمكن أن تعمل في الخلفية وتنتهي لاحقا.
الاستدلال الدفعي يشغل هذا النوع من العمل كمهمة واحدة. تقدم كل طلب دفعة واحدة، وتتحقق من حالة المهمة، وتجمع كل النتائج معا. الكود الخاص بك لا يبقي آلاف الاتصالات مفتوحة أو يحدد طلباته الخاصة، وفي بعض النماذج تكلف طلبات الدفعات أقل من نفس الطلبات المرسلة في الوقت الحقيقي.
custom_id الذي يكون فريدا في الملف (حتى 256 حرفا) و الجسم بنفس الطلب الذي ترسله في الوقت الحقيقي. قد يتم تعيين سطر أيضا طريقة إلى POST و رابط إلى نقطة نهاية الدفعة. يحتوي ملف واحد على ما يصل إلى 50,000 طلب.ما بعد /v1/files مع الغرض تم ضبطه على دفعة.ما بعد /v1/batches مع العائدين input_file_id. نقطة نهاية افتراضي إلى /v1/chat/completions, completion_window هي 24 ساعة، و بيانات وصفية يحمل ملصقاتك الخاصة.ابدأ /v1/batches/{batch_id}. إنه الحالة يمر عبر التحقق, in_progress و الانتهاء إلى اكتمل، أو تنتهي ك فشل, منتهي صلاحيته أو ملغى.output_file_id و error_file_id مع ابدأ /v1/files/{file_id}/content.ال دليل واجهة برمجة التطبيقات الدفعية له أمثلة كاملة، و إنشاء مرجع دفعي يعرض كل حقل.
يحتوي ملف الإخراج على سطر واحد لكل طلب نجح، وملف الخطأ يحتوي على سطر واحد لكل طلب لم ينجح. كل سطر يحمل custom_id تقوم بتعيين، لذا تطابق النتائج مع الطلبات التي تحسب ذلك المعرف. الطلب الذي تم تشغيله له الرد مع status_code و الجسم. طلب لم ينفذ أبدا الرد تم ضبطه على فارغ و خطأ رمز مثل batch_expired أو batch_cancelled.
الدفعة التي لم تكتمل عند انتهاء نافذة 24 ساعة، وتظهر طلباتها غير المكتملة في ملف الخطأ؛ أعد تقديمها في دفعة جديدة. ما بعد /v1/batches/{batch_id}/cancel يوقف دفعة مبكرا، وتبقى الطلبات التي تم تشغيلها بالفعل مفوترة. تنتهي صلاحية ملفات الإدخال بعد 7 أيام من الرفع، وملفات الإخراج والخطأ بعد 7 أيام من انتهاء الدفعة، لذا قم بتنزيل النتائج قبل ذلك.
فقط النماذج المؤهلة للدفعات يمكنها العمل في دفعة. ابدأ /v1/models التقارير batch_supported لكل نموذج، تعرض صفحات النماذج المؤهلة صف API دفعي، ويتم رفض دفعة تسمية أسطرها نماذج أخرى عند إنشائها. النماذج المدرجة في هذه الصفحة هي النماذج المؤهلة.
كل خط يدفع الفاتورة عند تشغيله، بسعر النموذج مطروحا منه batch_discount_pct. بعض النماذج تعمل دفعة بسعر مخفض، وأخرى بسعر قائمة، حيث القيمة هي 0. في نموذج يحتوي على خصم دفعي، لا يمكن لطلبات الدفعات استخدام البحث على الويب أو الأدوات المدمجة، لذا أرسل تلك الطلبات في الوقت الحقيقي. لتقدير تكلفة المهمة، عد رموزها كما هو موضح في ما هي الرموز، وقارن المؤهلات نماذج نصية.
عدد النماذج: 8. تعرض صفحة كل نموذج جدول أسعاره ومعلماته وأمثلة الكود.
| النموذج | Batch API | الفئة |
|---|---|---|
| Mistral Small 4 Mistral AI | متاح، خصم 35% عن سعر القائمة | توليد النصوص |
| Nova Lite 1.0 Amazon | متاح، خصم 35% عن سعر القائمة | توليد النصوص |
| Nova Lite 2 Amazon | متاح، خصم 35% عن سعر القائمة | توليد النصوص |
| Nova Micro 1.0 Amazon | متاح، خصم 35% عن سعر القائمة | توليد النصوص |
| Nova Pro 1.0 Amazon | متاح، خصم 35% عن سعر القائمة | توليد النصوص |
| Seed 2.0 Lite ByteDance | متاح | توليد النصوص |
| Seed 2.0 Mini ByteDance | متاح | توليد النصوص |
| Seed 2.0 Pro ByteDance | متاح | توليد النصوص |
تعمل الدفعة خلال نافذة إكمال مدتها 24 ساعة. تعاد الطلبات التي لم تعمل عند انتهاء النافذة في ملف الخطأ على أنها منتهية الصلاحية، لذا يمكنك إرسالها مرة أخرى.
في بعض النماذج. يدرج كل نموذج مؤهل خصم دفعته، وقيمة 0 تعني أن الدفعة تعمل بسعر قائمة النموذج.
يحتوي ملف إدخال واحد على ما يصل إلى 50,000 طلب، واحد لكل سطر، لكل منها custom_id خاص به.
نعم. الإلغاء يوقف الطلبات التي لم تعمل، والتي تظهر في ملف الخطأ كملغاة. الطلبات التي تم تشغيلها بالفعل تبقى مفوترة.
تحقق من تسعيرنا أو تواصل إذا كنت ترغب في نشر نموذجك الخاص على مجموعتنا.