什么是批次推理?

批次推理将多个模型请求作为一个异步作业运行,而不是一次调用一个。你上传一个请求文件,它们会在完成窗口内运行,然后下载一个结果文件,这适用于不需要立即响应的大型作业。

核心概念

当批次推理拟合时

大多数模型调用都是实时的:应用程序发送请求并等待响应。许多工作负载不需要在几秒钟内得到响应。分类产品目录、总结文档归档、从数千条记录中提取字段或生成评估集输出,这些都可以在后台运行,之后完成。

批次推理将这类工作作为一个作业来完成。你一次性提交所有请求,检查作业状态,并收集所有结果。你的代码不会保持成千上万的连接开放,也不会自行调节请求,在某些模型上,批处理请求的成本比实时发送的请求更低。

批处理 API 的工作原理

  1. 写一个 JSONL 文件。 每行输入一个请求。每行都有 custom_id 在文件中唯一(最多 256 个字符)且 正文 请求与实时发送相同。也可能设置一行 方法 到 POST(后期刊物) 以及 URL 到批处理端点。一个文件最多可容纳 50,000 个请求。
  2. 上传吧。 将文件发送到 /v1/files后 与 目的 设置为 批次。 。 。.
  3. 创建批次。 叫声 /v1/batches后 与归来的 input_file_id。 。 。. 端点 默认为 /v1/chat/completions, (中文), completion_window 是 24小时, 和 元数据 拥有属于自己的标签。
  4. 调查其状态。 叫声 快去/v1/batches/{batch_id}.它的 现状 通过 验证中, (中文), in_progress 以及 最终完成 到 已完成,或以 失败, (中文), 已过期 或 已取消。 。 。.
  5. 下载结果。 批次结束后,获取名为 output_file_id 以及 error_file_id 与 快去/v1/files/{file_id}/content。 。 。.

该 批处理API指南 具有完整的示例,并且 创建批次引用 列出所有字段。

阅读结果

输出文件对应每个成功请求的一行,错误文件对应未成功的请求一行。每一行都承载 custom_id 您设置了,因此将结果与该 ID 的请求匹配。运行的请求具有 回应 其 status_code 以及 正文.一个从未运行过的请求已经出现 回应 设置为 null 还有一个 错误 代码,例如 batch_expired 或 batch_cancelled。 。 。.

在 24 小时窗口结束时尚未完成的批次将过期,其未完成的请求会显示在错误文件中;请在新批次中再次提交这些请求。 /v1/batches/{batch_id}/cancel后 提前停止批次,且已运行的请求继续计费。输入文件在上传后7天到期,输出文件和错误文件在批次结束后7天过期,因此下载结果会在此之前。

符合条件的型号和计费方式

只有符合批次条件的模型才能在批次中运行。 快去/v1/models 报告 batch_supported 对于每个模型,符合条件的模型页面会显示一个批处理 API 行,而在创建该批次时,其行名称其他模型的行会被拒绝使用。本页面列出的模型是符合条件的模型。

每条线路运行时计费,按型号标价减去其 batch_discount_pct.有些型号批量生产时以折扣价运行,另一些则按标价运行,其价值为 0.在带有批量折扣的模型上,批量请求无法使用网页搜索或内置工具,因此请实时发送这些请求。要估算一个作业的成本,请按照 中描述计算其令牌数 什么是代币,并比较符合条件的条件 文本模型。 。 。.

可通过 Batch API 使用的模型

共 8 个模型。每个模型的页面都有价目表、参数和代码。

模型Batch API类别
Mistral Small 4 Mistral AI可用,较目录价优惠 35%文本生成
Nova Lite 1.0 Amazon可用,较目录价优惠 35%文本生成
Nova Lite 2 Amazon可用,较目录价优惠 35%文本生成
Nova Micro 1.0 Amazon可用,较目录价优惠 35%文本生成
Nova Pro 1.0 Amazon可用,较目录价优惠 35%文本生成
Seed 2.0 Lite ByteDance可用文本生成
Seed 2.0 Mini ByteDance可用文本生成
Seed 2.0 Pro ByteDance可用文本生成

常见问题

一批需要多长时间?

批处理将在 24 小时完成窗口内运行。窗口结束时尚未运行的请求会在错误文件中返回为过期,因此您可以再次提交。

批处理推理比实时请求更便宜吗?

在某些模型上。每个符合条件的型号都会列出其批次折扣,值为 0 表示批量按模型的标价进行。

一个批次最多能容纳多少个请求?

一个输入文件最多可容纳 50,000 个请求,每行一个,每个请求都有自己的custom_id。

我可以取消一批吗?

是的。取消会停止尚未运行的请求,这些请求在错误文件中显示为已取消。已运行的请求将继续计费。

准备好使用更好的终端了吗?

查看我们的定价,或者如果你想将自己的模型部署到我们的堆栈中,请联系我们。