批次推理将多个模型请求作为一个异步作业运行,而不是一次调用一个。你上传一个请求文件,它们会在完成窗口内运行,然后下载一个结果文件,这适用于不需要立即响应的大型作业。
大多数模型调用都是实时的:应用程序发送请求并等待响应。许多工作负载不需要在几秒钟内得到响应。分类产品目录、总结文档归档、从数千条记录中提取字段或生成评估集输出,这些都可以在后台运行,之后完成。
批次推理将这类工作作为一个作业来完成。你一次性提交所有请求,检查作业状态,并收集所有结果。你的代码不会保持成千上万的连接开放,也不会自行调节请求,在某些模型上,批处理请求的成本比实时发送的请求更低。
custom_id 在文件中唯一(最多 256 个字符)且 正文 请求与实时发送相同。也可能设置一行 方法 到 POST(后期刊物) 以及 URL 到批处理端点。一个文件最多可容纳 50,000 个请求。/v1/files后 与 目的 设置为 批次。 。 。./v1/batches后 与归来的 input_file_id。 。 。. 端点 默认为 /v1/chat/completions, (中文), completion_window 是 24小时, 和 元数据 拥有属于自己的标签。快去/v1/batches/{batch_id}.它的 现状 通过 验证中, (中文), in_progress 以及 最终完成 到 已完成,或以 失败, (中文), 已过期 或 已取消。 。 。.output_file_id 以及 error_file_id 与 快去/v1/files/{file_id}/content。 。 。.输出文件对应每个成功请求的一行,错误文件对应未成功的请求一行。每一行都承载 custom_id 您设置了,因此将结果与该 ID 的请求匹配。运行的请求具有 回应 其 status_code 以及 正文.一个从未运行过的请求已经出现 回应 设置为 null 还有一个 错误 代码,例如 batch_expired 或 batch_cancelled。 。 。.
在 24 小时窗口结束时尚未完成的批次将过期,其未完成的请求会显示在错误文件中;请在新批次中再次提交这些请求。 /v1/batches/{batch_id}/cancel后 提前停止批次,且已运行的请求继续计费。输入文件在上传后7天到期,输出文件和错误文件在批次结束后7天过期,因此下载结果会在此之前。
只有符合批次条件的模型才能在批次中运行。 快去/v1/models 报告 batch_supported 对于每个模型,符合条件的模型页面会显示一个批处理 API 行,而在创建该批次时,其行名称其他模型的行会被拒绝使用。本页面列出的模型是符合条件的模型。
每条线路运行时计费,按型号标价减去其 batch_discount_pct.有些型号批量生产时以折扣价运行,另一些则按标价运行,其价值为 0.在带有批量折扣的模型上,批量请求无法使用网页搜索或内置工具,因此请实时发送这些请求。要估算一个作业的成本,请按照 中描述计算其令牌数 什么是代币,并比较符合条件的条件 文本模型。 。 。.
共 8 个模型。每个模型的页面都有价目表、参数和代码。
| 模型 | Batch API | 类别 |
|---|---|---|
| Mistral Small 4 Mistral AI | 可用,较目录价优惠 35% | 文本生成 |
| Nova Lite 1.0 Amazon | 可用,较目录价优惠 35% | 文本生成 |
| Nova Lite 2 Amazon | 可用,较目录价优惠 35% | 文本生成 |
| Nova Micro 1.0 Amazon | 可用,较目录价优惠 35% | 文本生成 |
| Nova Pro 1.0 Amazon | 可用,较目录价优惠 35% | 文本生成 |
| Seed 2.0 Lite ByteDance | 可用 | 文本生成 |
| Seed 2.0 Mini ByteDance | 可用 | 文本生成 |
| Seed 2.0 Pro ByteDance | 可用 | 文本生成 |
批处理将在 24 小时完成窗口内运行。窗口结束时尚未运行的请求会在错误文件中返回为过期,因此您可以再次提交。
在某些模型上。每个符合条件的型号都会列出其批次折扣,值为 0 表示批量按模型的标价进行。
一个输入文件最多可容纳 50,000 个请求,每行一个,每个请求都有自己的custom_id。
是的。取消会停止尚未运行的请求,这些请求在错误文件中显示为已取消。已运行的请求将继续计费。