バッチ推論は、複数のモデルリクエストを1回の非同期ジョブとして実行します。リクエストのファイルをアップロードし、完了ウィンドウ内で実行し、結果ファイルをダウンロードします。これは即時の回答を必要としない大規模なジョブに適しています。
ほとんどのモデル呼び出しはリアルタイムで行われ、アプリケーションがリクエストを送信し、応答を待つ。多くのワークロードは数秒以内に回答を必要としません。製品カタログの分類、文書アーカイブの要約、数千件のレコードからフィールドを抽出する、評価セットの出力を生成するなど、すべてバックグラウンドで実行され、後で完了できます。
バッチ推論は、そのような作業を1つのジョブとして実行します。すべてのリクエストを一度に提出し、ジョブの状態を確認し、すべての結果をまとめて集めます。コードは何千もの接続を開いたままにしたり、独自のリクエストをペース配分したりしませんし、モデルによってはバッチリクエストのほうがリアルタイムで送信される同じリクエストよりもコストが安いこともあります。
custom_id ファイル内で一意(最大256文字)であることと、 本文 リアルタイムで送信するのと同じリクエストで。ラインを設定する場合もあります 方法 から 投稿 および URL バッチエンドポイントへ。1つのファイルには最大50,000件のリクエストが格納できます。/v1/files後 お問い合わせ 目的 設定 バッチお問い合わせ./v1/batches後 返還された者たちとともに input_file_idお問い合わせ. エンドポイント デフォルトは /v1/chat/completions, completion_window は 24時間、および メタデータ 自分なりのラベルを持てる。早く/v1/batches/{batch_id}.その 状況 通り抜ける 検証中, in_progress および 最終決定 から 完了完了、または次のように終わります 失敗, 期限切れ または キャンセルされましたお問い合わせ.output_file_id および error_file_id お問い合わせ 早く/v1/files/{file_id}/contentお問い合わせ.その バッチAPIガイド 完全な例があり、 バッチ参照を作成する すべてのフィールドを一覧表示します。
出力ファイルには成功した各リクエストごとに1行、失敗したリクエストごとにエラーファイルは1行ずつ表示されます。各行は custom_id 設定したので、結果をそのIDでリクエストに一致させます。実行されたリクエストには 応答 その status_code および 本文.実行されなかったリクエストが 応答 設定 null そして、 エラー コード: batch_expired または batch_cancelledお問い合わせ.
24時間のウィンドウが終了しても完了していないバッチは期限切れとなり、未完了のリクエストがエラーファイルに表示されます。それらを新しいバッチで再度送信してください。 /v1/batches/{batch_id}/cancel後 バッチを早期に停止し、すでに実行されたリクエストは請求されたまま残ります。入力ファイルはアップロード後7日後、出力ファイルやエラーファイルはバッチ終了後7日後に有効期限が切れますので、それより先にダウンロード結果が発生します。
バッチ対応モデルのみがバッチ内で実行できます。 早く/v1/models レポート batch_supported 各モデルについて、対象モデルページにはバッチAPI行が表示され、他のモデル名の行が割り当てられたバッチは作成時に拒否されます。このページに記載されているモデルは対象モデルです。
各ラインは稼働時に請求し、モデルのリスト価格からその価格を差し引いたもので計上します batch_discount_pct.割引価格でバッチ販売されるモデルもあれば、リスト価格で販売されるモデルもあり、その価格の価値は 0.バッチ割引のあるモデルでは、バッチリクエストはウェブ検索や組み込みツールを使えないため、リアルタイムでリクエストを送信します。ジョブのコストを見積もるには、以下の通りトークン数をカウントしてください。 トークンとは何か、および対象を比較する テキストモデルお問い合わせ.
8 個のモデル。各モデルのページに料金表、パラメーター、コードがあります。
| モデル | Batch API | カテゴリ |
|---|---|---|
| Mistral Small 4 Mistral AI | 利用可能、定価より35%オフ | テキスト生成 |
| Nova Lite 1.0 Amazon | 利用可能、定価より35%オフ | テキスト生成 |
| Nova Lite 2 Amazon | 利用可能、定価より35%オフ | テキスト生成 |
| Nova Micro 1.0 Amazon | 利用可能、定価より35%オフ | テキスト生成 |
| Nova Pro 1.0 Amazon | 利用可能、定価より35%オフ | テキスト生成 |
| Seed 2.0 Lite ByteDance | 利用可能 | テキスト生成 |
| Seed 2.0 Mini ByteDance | 利用可能 | テキスト生成 |
| Seed 2.0 Pro ByteDance | 利用可能 | テキスト生成 |
バッチは24時間の完了ウィンドウ内で実行されます。ウィンドウ終了時に実行されていないリクエストはエラーファイル内に期限切れとして返されるため、再度送信できます。
一部のモデルでは。各対象モデルにはバッチ割引が記載されており、値が0の場合はバッチがモデルのリスト価格で実行されます。
1つの入力ファイルは、1行あたり1つ、最大50,000件のリクエストを格納し、それぞれに固有のcustom_idがあります。
はい。キャンセルすると、エラーファイルにキャンセル済みとして表示される未実行のリクエストが停止されます。すでに実行されたリクエストは請求されたままです。