ما هو استدلال الدفعات؟

يقوم الاستدلال الدفعي بتشغيل العديد من طلبات النموذج كمهمة غير متزامنة واحدة بدلا من استدعاء واحد في كل مرة. تقوم بتحميل ملف من الطلبات، وتعمل ضمن نافذة إكمال، ثم تقوم بتنزيل ملف النتائج، وهو ما يناسب المهام الكبيرة التي لا تحتاج إلى إجابة فورية.

المفاهيم

عندما يتوافق استدلال الدفعة

معظم استدعاءات النماذج تكون في الوقت الحقيقي: يرسل التطبيق طلبا وينتظر الرد. العديد من أعباء العمل لا تحتاج إلى إجابة خلال ثوان. تصنيف كتالوج المنتجات، تلخيص أرشيف المستندات، استخراج الحقول من آلاف السجلات أو توليد مخرجات لمجموعة تقييم يمكن أن تعمل في الخلفية وتنتهي لاحقا.

الاستدلال الدفعي يشغل هذا النوع من العمل كمهمة واحدة. تقدم كل طلب دفعة واحدة، وتتحقق من حالة المهمة، وتجمع كل النتائج معا. الكود الخاص بك لا يبقي آلاف الاتصالات مفتوحة أو يحدد طلباته الخاصة، وفي بعض النماذج تكلف طلبات الدفعات أقل من نفس الطلبات المرسلة في الوقت الحقيقي.

كيف تعمل واجهة برمجة التطبيقات الدفعية

  1. اكتب ملف JSONL. ضع طلبا واحدا لكل سطر. كل سطر يحتوي على custom_id الذي يكون فريدا في الملف (حتى 256 حرفا) و الجسم بنفس الطلب الذي ترسله في الوقت الحقيقي. قد يتم تعيين سطر أيضا طريقة إلى POST و رابط إلى نقطة نهاية الدفعة. يحتوي ملف واحد على ما يصل إلى 50,000 طلب.
  2. ارفعه. أرسل الملف إلى ما بعد /v1/files مع الغرض تم ضبطه على دفعة.
  3. أنشئ الدفعة. الاتصال ما بعد /v1/batches مع العائدين input_file_id. نقطة نهاية افتراضي إلى /v1/chat/completions, completion_window هي 24 ساعة، و بيانات وصفية يحمل ملصقاتك الخاصة.
  4. استطلاع وضعه. الاتصال ابدأ /v1/batches/{batch_id}. إنه الحالة يمر عبر التحقق, in_progress و الانتهاء إلى اكتمل، أو تنتهي ك فشل, منتهي صلاحيته أو ملغى.
  5. قم بتحميل النتائج. عند انتهاء الدفعة، قم بجلب الملفات المسماة بواسطة output_file_id و error_file_id مع ابدأ /v1/files/{file_id}/content.

ال دليل واجهة برمجة التطبيقات الدفعية له أمثلة كاملة، و إنشاء مرجع دفعي يعرض كل حقل.

قراءة النتائج

يحتوي ملف الإخراج على سطر واحد لكل طلب نجح، وملف الخطأ يحتوي على سطر واحد لكل طلب لم ينجح. كل سطر يحمل custom_id تقوم بتعيين، لذا تطابق النتائج مع الطلبات التي تحسب ذلك المعرف. الطلب الذي تم تشغيله له الرد مع status_code و الجسم. طلب لم ينفذ أبدا الرد تم ضبطه على فارغ و خطأ رمز مثل batch_expired أو batch_cancelled.

الدفعة التي لم تكتمل عند انتهاء نافذة 24 ساعة، وتظهر طلباتها غير المكتملة في ملف الخطأ؛ أعد تقديمها في دفعة جديدة. ما بعد /v1/batches/{batch_id}/cancel يوقف دفعة مبكرا، وتبقى الطلبات التي تم تشغيلها بالفعل مفوترة. تنتهي صلاحية ملفات الإدخال بعد 7 أيام من الرفع، وملفات الإخراج والخطأ بعد 7 أيام من انتهاء الدفعة، لذا قم بتنزيل النتائج قبل ذلك.

النماذج المؤهلة والفوترة

فقط النماذج المؤهلة للدفعات يمكنها العمل في دفعة. ابدأ /v1/models التقارير batch_supported لكل نموذج، تعرض صفحات النماذج المؤهلة صف API دفعي، ويتم رفض دفعة تسمية أسطرها نماذج أخرى عند إنشائها. النماذج المدرجة في هذه الصفحة هي النماذج المؤهلة.

كل خط يدفع الفاتورة عند تشغيله، بسعر النموذج مطروحا منه batch_discount_pct. بعض النماذج تعمل دفعة بسعر مخفض، وأخرى بسعر قائمة، حيث القيمة هي 0. في نموذج يحتوي على خصم دفعي، لا يمكن لطلبات الدفعات استخدام البحث على الويب أو الأدوات المدمجة، لذا أرسل تلك الطلبات في الوقت الحقيقي. لتقدير تكلفة المهمة، عد رموزها كما هو موضح في ما هي الرموز، وقارن المؤهلات نماذج نصية.

النماذج المتاحة عبر Batch API

عدد النماذج: 8. تعرض صفحة كل نموذج جدول أسعاره ومعلماته وأمثلة الكود.

النموذجBatch APIالفئة
Mistral Small 4 Mistral AIمتاح، خصم 35% عن سعر القائمةتوليد النصوص
Nova Lite 1.0 Amazonمتاح، خصم 35% عن سعر القائمةتوليد النصوص
Nova Lite 2 Amazonمتاح، خصم 35% عن سعر القائمةتوليد النصوص
Nova Micro 1.0 Amazonمتاح، خصم 35% عن سعر القائمةتوليد النصوص
Nova Pro 1.0 Amazonمتاح، خصم 35% عن سعر القائمةتوليد النصوص
Seed 2.0 Lite ByteDanceمتاحتوليد النصوص
Seed 2.0 Mini ByteDanceمتاحتوليد النصوص
Seed 2.0 Pro ByteDanceمتاحتوليد النصوص

الأسئلة الشائعة

كم يستغرق الدفعة؟

تعمل الدفعة خلال نافذة إكمال مدتها 24 ساعة. تعاد الطلبات التي لم تعمل عند انتهاء النافذة في ملف الخطأ على أنها منتهية الصلاحية، لذا يمكنك إرسالها مرة أخرى.

هل الاستدلال الدفعي أرخص من الطلبات الفورية؟

في بعض النماذج. يدرج كل نموذج مؤهل خصم دفعته، وقيمة 0 تعني أن الدفعة تعمل بسعر قائمة النموذج.

كم عدد الطلبات التي يمكن أن تحتفظ بها دفعة واحدة؟

يحتوي ملف إدخال واحد على ما يصل إلى 50,000 طلب، واحد لكل سطر، لكل منها custom_id خاص به.

هل يمكنني إلغاء دفعة؟

نعم. الإلغاء يوقف الطلبات التي لم تعمل، والتي تظهر في ملف الخطأ كملغاة. الطلبات التي تم تشغيلها بالفعل تبقى مفوترة.

هل أنت مستعد لاستخدام نقاط نهاية أفضل؟

تحقق من تسعيرنا أو تواصل إذا كنت ترغب في نشر نموذجك الخاص على مجموعتنا.