Batch-Inferenz führt viele Modellanfragen als einen asynchronen Job aus, statt jeweils einen Aufruf. Sie laden eine Datei mit Anfragen hoch, sie laufen innerhalb eines Abschlussfensters, und Sie laden eine Datei mit den Ergebnissen herunter, die für große Aufgaben geeignet sind, die keine sofortige Antwort benötigen.
Die meisten Modellaufrufe erfolgen in Echtzeit: Eine Anwendung sendet eine Anfrage und wartet auf die Antwort. Viele Workloads benötigen keine Antwort innerhalb von Sekunden. Das Klassifizieren eines Produktkatalogs, das Zusammenfassen eines Dokumentenarchivs, das Extrahieren von Feldern aus Tausenden von Einträgen oder das Generieren von Ergebnissen für einen Evaluationssatz kann im Hintergrund ablaufen und später abgeschlossen werden.
Batch-Inferenz führt diese Art von Arbeit als ein einziger Job aus. Du reichst jede Anfrage auf einmal ein, überprüfst den Status des Jobs und sammelst alle Ergebnisse zusammen. Dein Code hält nicht tausende Verbindungen offen oder steuert seine eigenen Anfragen, und bei manchen Modellen kosten Batch-Anfragen weniger als die gleichen Anfragen, die in Echtzeit gesendet werden.
custom_id die in der Datei eindeutig ist (bis zu 256 Zeichen) und ein Karosserie Mit derselben Anfrage, die Sie in Echtzeit senden würden. Eine Zeile kann ebenfalls eingestellt werden Methode zu POST und URL zum Batch-Endpunkt. Eine Datei enthält bis zu 50.000 Anfragen.POST /v1/files mit Zweck Setzen Sie auf Charge.POST /v1/batches mit der zurückkehrenden input_file_id. Endpunkt Standardeinstellungen auf /v1/chat/completions, completion_window ist 24h, und Metadaten hat deine eigenen Labels.GEH /v1/batches/{batch_id}. Es Status Bewegt sich durch Validierung, in_progress und Finalisierung zu abgeschlossen, oder endet als fehlgeschlagen, abgelaufen oder abgesagt.output_file_id und error_file_id mit GEH /v1/files/{file_id}/content.Die Batch-API-Leitfaden enthält vollständige Beispiele, und die Batch-Referenz erstellen Liste jedes Feld auf.
Die Ausgabedatei hat eine Zeile für jede erfolgreiche Anfrage, und die Fehlerdatei eine Zeile für jede Anfrage, die dies nicht getan hat. Jede Zeile trägt die custom_id Sie setzen die Ergebnisse also mit Anfragen dieser ID ab. Eine Anforderung, die ausgeführt wurde, hat eine Antwort mit seinem status_code und Karosserie. Eine Anfrage, die nie erschienen ist, hat Antwort Setzen Sie auf null und ein Fehler Code wie batch_expired oder batch_cancelled.
Ein Batch, der nicht abgeschlossen ist, wenn sein 24-Stunden-Fenster endet, und seine unfertigen Anfragen erscheinen in der Fehlerdatei; senden Sie diese erneut in einem neuen Batch ein. POST /v1/batches/{batch_id}/cancel Stoppt einen Batch vorzeitig, und Anfragen, die bereits ausgelaufen sind, bleiben abgerechnet. Eingabedateien laufen 7 Tage nach dem Upload ab, und Ausgabe- und Fehlerdateien 7 Tage nach dem Ende des Batches, sodass die Ergebnisse vorher heruntergeladen werden.
Nur batch-berechtigte Modelle können in einem Batch ausgeführt werden. GEH /v1/models Berichte batch_supported für jedes Modell zeigen die zulässigen Modellseiten eine Batch-API-Zeile, und ein Batch, dessen Zeilen andere Modelle benennen, wird beim Erstellen abgelehnt. Die auf dieser Seite aufgeführten Modelle sind die zulässigen.
Jede Leitung rechnet, wenn sie läuft, zum Listenpreis des Modells abzüglich seines batch_discount_pct. Einige Modelle laufen in Chargen zu einem reduzierten Preis, andere zum Listenpreis, wobei der Wert 0. Bei einem Modell mit Batch-Rabatt können Batch-Anfragen weder Websuche noch eingebaute Tools verwenden, daher senden Sie diese Anfragen in Echtzeit. Um die Kosten eines Auftrags abzuschätzen, zählen Sie seine Token wie beschrieben in was Token sind, und vergleichen die berechtigten Textmodelle.
8 Modelle. Die Seite jedes Modells zeigt Preisliste, Parameter und Code.
| Modell | Batch API | Kategorie |
|---|---|---|
| Mistral Small 4 Mistral AI | Verfügbar, 35% Rabatt auf den Listenpreis | Textgenerierung |
| Nova Lite 1.0 Amazon | Verfügbar, 35% Rabatt auf den Listenpreis | Textgenerierung |
| Nova Lite 2 Amazon | Verfügbar, 35% Rabatt auf den Listenpreis | Textgenerierung |
| Nova Micro 1.0 Amazon | Verfügbar, 35% Rabatt auf den Listenpreis | Textgenerierung |
| Nova Pro 1.0 Amazon | Verfügbar, 35% Rabatt auf den Listenpreis | Textgenerierung |
| Seed 2.0 Lite ByteDance | Verfügbar | Textgenerierung |
| Seed 2.0 Mini ByteDance | Verfügbar | Textgenerierung |
| Seed 2.0 Pro ByteDance | Verfügbar | Textgenerierung |
Ein Batch läuft innerhalb eines 24-Stunden-Abschlussfensters. Anfragen, die nicht ausgeführt wurden, wenn das Fenster endet, werden in der Fehlerdatei als abgelaufen zurückgegeben, sodass Sie sie erneut einreichen können.
Bei einigen Modellen. Jedes berechtigte Modell listet seinen Batch-Rabatt auf, und ein Wert von 0 bedeutet, dass die Charge zum Listenpreis des Modells läuft.
Eine Eingabedatei enthält bis zu 50.000 Anfragen, jeweils eine pro Zeile, jede mit eigener custom_id.
Ja. Das Abbrechen stoppt die Anfragen, die nicht ausgeführt wurden, die in der Fehlerdatei als abgemeldet erscheinen. Bereits ausgelaufene Anfragen bleiben abgerechnet.
Schauen Sie sich unsere Preise an oder kontaktieren Sie uns, wenn Sie Ihr eigenes Modell auf unserem Stack implementieren möchten.