バッチ推論とは何ですか?

バッチ推論は、複数のモデルリクエストを1回の非同期ジョブとして実行します。リクエストのファイルをアップロードし、完了ウィンドウ内で実行し、結果ファイルをダウンロードします。これは即時の回答を必要としない大規模なジョブに適しています。

基本概念

バッチ推論が適合する場合

ほとんどのモデル呼び出しはリアルタイムで行われ、アプリケーションがリクエストを送信し、応答を待つ。多くのワークロードは数秒以内に回答を必要としません。製品カタログの分類、文書アーカイブの要約、数千件のレコードからフィールドを抽出する、評価セットの出力を生成するなど、すべてバックグラウンドで実行され、後で完了できます。

バッチ推論は、そのような作業を1つのジョブとして実行します。すべてのリクエストを一度に提出し、ジョブの状態を確認し、すべての結果をまとめて集めます。コードは何千もの接続を開いたままにしたり、独自のリクエストをペース配分したりしませんし、モデルによってはバッチリクエストのほうがリアルタイムで送信される同じリクエストよりもコストが安いこともあります。

バッチAPIの動作方法

  1. JSONLファイルを書きます。 1行ごとに1つのリクエストを入力してください。各行には custom_id ファイル内で一意(最大256文字)であることと、 本文 リアルタイムで送信するのと同じリクエストで。ラインを設定する場合もあります 方法 から 投稿 および URL バッチエンドポイントへ。1つのファイルには最大50,000件のリクエストが格納できます。
  2. アップロードしてください。 ファイルを以下に送信します /v1/files後 お問い合わせ 目的 設定 バッチお問い合わせ.
  3. バッチを作成します。 鳴き声 /v1/batches後 返還された者たちとともに input_file_idお問い合わせ. エンドポイント デフォルトは /v1/chat/completions, completion_window は 24時間、および メタデータ 自分なりのラベルを持てる。
  4. その状況を調査してください。 鳴き声 早く/v1/batches/{batch_id}.その 状況 通り抜ける 検証中, in_progress および 最終決定 から 完了完了、または次のように終わります 失敗, 期限切れ または キャンセルされましたお問い合わせ.
  5. 結果をダウンロードしてください。 バッチが終了したら、次のファイル名を取得します output_file_id および error_file_id お問い合わせ 早く/v1/files/{file_id}/contentお問い合わせ.

その バッチAPIガイド 完全な例があり、 バッチ参照を作成する すべてのフィールドを一覧表示します。

結果の読み解き

出力ファイルには成功した各リクエストごとに1行、失敗したリクエストごとにエラーファイルは1行ずつ表示されます。各行は custom_id 設定したので、結果をそのIDでリクエストに一致させます。実行されたリクエストには 応答 その status_code および 本文.実行されなかったリクエストが 応答 設定 null そして、 エラー コード: batch_expired または batch_cancelledお問い合わせ.

24時間のウィンドウが終了しても完了していないバッチは期限切れとなり、未完了のリクエストがエラーファイルに表示されます。それらを新しいバッチで再度送信してください。 /v1/batches/{batch_id}/cancel後 バッチを早期に停止し、すでに実行されたリクエストは請求されたまま残ります。入力ファイルはアップロード後7日後、出力ファイルやエラーファイルはバッチ終了後7日後に有効期限が切れますので、それより先にダウンロード結果が発生します。

対象モデルと請求方法

バッチ対応モデルのみがバッチ内で実行できます。 早く/v1/models レポート batch_supported 各モデルについて、対象モデルページにはバッチAPI行が表示され、他のモデル名の行が割り当てられたバッチは作成時に拒否されます。このページに記載されているモデルは対象モデルです。

各ラインは稼働時に請求し、モデルのリスト価格からその価格を差し引いたもので計上します batch_discount_pct.割引価格でバッチ販売されるモデルもあれば、リスト価格で販売されるモデルもあり、その価格の価値は 0.バッチ割引のあるモデルでは、バッチリクエストはウェブ検索や組み込みツールを使えないため、リアルタイムでリクエストを送信します。ジョブのコストを見積もるには、以下の通りトークン数をカウントしてください。 トークンとは何か、および対象を比較する テキストモデルお問い合わせ.

Batch API で利用できるモデル

8 個のモデル。各モデルのページに料金表、パラメーター、コードがあります。

モデルBatch APIカテゴリ
Mistral Small 4 Mistral AI利用可能、定価より35%オフテキスト生成
Nova Lite 1.0 Amazon利用可能、定価より35%オフテキスト生成
Nova Lite 2 Amazon利用可能、定価より35%オフテキスト生成
Nova Micro 1.0 Amazon利用可能、定価より35%オフテキスト生成
Nova Pro 1.0 Amazon利用可能、定価より35%オフテキスト生成
Seed 2.0 Lite ByteDance利用可能テキスト生成
Seed 2.0 Mini ByteDance利用可能テキスト生成
Seed 2.0 Pro ByteDance利用可能テキスト生成

よくある質問

1バッチにはどれくらい時間がかかりますか?

バッチは24時間の完了ウィンドウ内で実行されます。ウィンドウ終了時に実行されていないリクエストはエラーファイル内に期限切れとして返されるため、再度送信できます。

バッチ推論はリアルタイムリクエストよりも安価ですか?

一部のモデルでは。各対象モデルにはバッチ割引が記載されており、値が0の場合はバッチがモデルのリスト価格で実行されます。

1バッチに何件のリクエストを処理できますか?

1つの入力ファイルは、1行あたり1つ、最大50,000件のリクエストを格納し、それぞれに固有のcustom_idがあります。

バッチをキャンセルできますか?

はい。キャンセルすると、エラーファイルにキャンセル済みとして表示される未実行のリクエストが停止されます。すでに実行されたリクエストは請求されたままです。

より良いエンドポイントを使う準備はできていますか?

ご自身のモデルを当社のスタックに展開したい方は、ぜひご価格をご覧ください。