Was ist Batch-Inferenz?

Batch-Inferenz führt viele Modellanfragen als einen asynchronen Job aus, statt jeweils einen Aufruf. Sie laden eine Datei mit Anfragen hoch, sie laufen innerhalb eines Abschlussfensters, und Sie laden eine Datei mit den Ergebnissen herunter, die für große Aufgaben geeignet sind, die keine sofortige Antwort benötigen.

Konzepte

Wann die Batch-Inferenz passt

Die meisten Modellaufrufe erfolgen in Echtzeit: Eine Anwendung sendet eine Anfrage und wartet auf die Antwort. Viele Workloads benötigen keine Antwort innerhalb von Sekunden. Das Klassifizieren eines Produktkatalogs, das Zusammenfassen eines Dokumentenarchivs, das Extrahieren von Feldern aus Tausenden von Einträgen oder das Generieren von Ergebnissen für einen Evaluationssatz kann im Hintergrund ablaufen und später abgeschlossen werden.

Batch-Inferenz führt diese Art von Arbeit als ein einziger Job aus. Du reichst jede Anfrage auf einmal ein, überprüfst den Status des Jobs und sammelst alle Ergebnisse zusammen. Dein Code hält nicht tausende Verbindungen offen oder steuert seine eigenen Anfragen, und bei manchen Modellen kosten Batch-Anfragen weniger als die gleichen Anfragen, die in Echtzeit gesendet werden.

Wie die Batch-API funktioniert

  1. Schreiben Sie eine JSONL-Datei. Geben Sie eine Anfrage pro Zeile ein. Jede Zeile hat eine custom_id die in der Datei eindeutig ist (bis zu 256 Zeichen) und ein Karosserie Mit derselben Anfrage, die Sie in Echtzeit senden würden. Eine Zeile kann ebenfalls eingestellt werden Methode zu POST und URL zum Batch-Endpunkt. Eine Datei enthält bis zu 50.000 Anfragen.
  2. Lade es hoch. Senden Sie die Datei an POST /v1/files mit Zweck Setzen Sie auf Charge.
  3. Erstellen Sie den Batch. Ruf an POST /v1/batches mit der zurückkehrenden input_file_id. Endpunkt Standardeinstellungen auf /v1/chat/completions, completion_window ist 24h, und Metadaten hat deine eigenen Labels.
  4. Untersuchen Sie seinen Status. Ruf an GEH /v1/batches/{batch_id}. Es Status Bewegt sich durch Validierung, in_progress und Finalisierung zu abgeschlossen, oder endet als fehlgeschlagen, abgelaufen oder abgesagt.
  5. Laden Sie die Ergebnisse herunter. Wenn der Batch endet, rufen Sie die Dateien ab, die nach benannt sind output_file_id und error_file_id mit GEH /v1/files/{file_id}/content.

Die Batch-API-Leitfaden enthält vollständige Beispiele, und die Batch-Referenz erstellen Liste jedes Feld auf.

Ergebnisse lesen

Die Ausgabedatei hat eine Zeile für jede erfolgreiche Anfrage, und die Fehlerdatei eine Zeile für jede Anfrage, die dies nicht getan hat. Jede Zeile trägt die custom_id Sie setzen die Ergebnisse also mit Anfragen dieser ID ab. Eine Anforderung, die ausgeführt wurde, hat eine Antwort mit seinem status_code und Karosserie. Eine Anfrage, die nie erschienen ist, hat Antwort Setzen Sie auf null und ein Fehler Code wie batch_expired oder batch_cancelled.

Ein Batch, der nicht abgeschlossen ist, wenn sein 24-Stunden-Fenster endet, und seine unfertigen Anfragen erscheinen in der Fehlerdatei; senden Sie diese erneut in einem neuen Batch ein. POST /v1/batches/{batch_id}/cancel Stoppt einen Batch vorzeitig, und Anfragen, die bereits ausgelaufen sind, bleiben abgerechnet. Eingabedateien laufen 7 Tage nach dem Upload ab, und Ausgabe- und Fehlerdateien 7 Tage nach dem Ende des Batches, sodass die Ergebnisse vorher heruntergeladen werden.

Förderfähige Modelle und Abrechnungen

Nur batch-berechtigte Modelle können in einem Batch ausgeführt werden. GEH /v1/models Berichte batch_supported für jedes Modell zeigen die zulässigen Modellseiten eine Batch-API-Zeile, und ein Batch, dessen Zeilen andere Modelle benennen, wird beim Erstellen abgelehnt. Die auf dieser Seite aufgeführten Modelle sind die zulässigen.

Jede Leitung rechnet, wenn sie läuft, zum Listenpreis des Modells abzüglich seines batch_discount_pct. Einige Modelle laufen in Chargen zu einem reduzierten Preis, andere zum Listenpreis, wobei der Wert 0. Bei einem Modell mit Batch-Rabatt können Batch-Anfragen weder Websuche noch eingebaute Tools verwenden, daher senden Sie diese Anfragen in Echtzeit. Um die Kosten eines Auftrags abzuschätzen, zählen Sie seine Token wie beschrieben in was Token sind, und vergleichen die berechtigten Textmodelle.

Modelle in der Batch API

8 Modelle. Die Seite jedes Modells zeigt Preisliste, Parameter und Code.

ModellBatch APIKategorie
Mistral Small 4 Mistral AIVerfügbar, 35% Rabatt auf den ListenpreisTextgenerierung
Nova Lite 1.0 AmazonVerfügbar, 35% Rabatt auf den ListenpreisTextgenerierung
Nova Lite 2 AmazonVerfügbar, 35% Rabatt auf den ListenpreisTextgenerierung
Nova Micro 1.0 AmazonVerfügbar, 35% Rabatt auf den ListenpreisTextgenerierung
Nova Pro 1.0 AmazonVerfügbar, 35% Rabatt auf den ListenpreisTextgenerierung
Seed 2.0 Lite ByteDanceVerfügbarTextgenerierung
Seed 2.0 Mini ByteDanceVerfügbarTextgenerierung
Seed 2.0 Pro ByteDanceVerfügbarTextgenerierung

Häufige Fragen

Wie lange dauert eine Charge?

Ein Batch läuft innerhalb eines 24-Stunden-Abschlussfensters. Anfragen, die nicht ausgeführt wurden, wenn das Fenster endet, werden in der Fehlerdatei als abgelaufen zurückgegeben, sodass Sie sie erneut einreichen können.

Ist Batch-Inferenz günstiger als Echtzeit-Anfragen?

Bei einigen Modellen. Jedes berechtigte Modell listet seinen Batch-Rabatt auf, und ein Wert von 0 bedeutet, dass die Charge zum Listenpreis des Modells läuft.

Wie viele Anfragen kann ein Batch aufnehmen?

Eine Eingabedatei enthält bis zu 50.000 Anfragen, jeweils eine pro Zeile, jede mit eigener custom_id.

Kann ich eine Charge stornieren?

Ja. Das Abbrechen stoppt die Anfragen, die nicht ausgeführt wurden, die in der Fehlerdatei als abgemeldet erscheinen. Bereits ausgelaufene Anfragen bleiben abgerechnet.

Bereit, bessere Endpunkte zu nutzen?

Schauen Sie sich unsere Preise an oder kontaktieren Sie uns, wenn Sie Ihr eigenes Modell auf unserem Stack implementieren möchten.