L’inférence par lots exécute de nombreuses requêtes de modèle comme un seul travail asynchrone au lieu d’un appel à la fois. Vous téléversez un fichier de requêtes, elles s’exécutent dans une fenêtre d’achèvement, et vous téléchargez un fichier de résultats, ce qui convient aux tâches volumineuses qui n’ont pas besoin de réponse immédiate.
La plupart des appels de modèle se font en temps réel: une application envoie une requête et attend la réponse. De nombreuses charges de travail n’ont pas besoin de réponse en quelques secondes. La classification d’un catalogue de produits, le résumé d’une archive de documents, l’extraction de champs à partir de milliers d’enregistrements ou la génération de sorties pour un ensemble d’évaluation peuvent tous s’exécuter en arrière-plan et se terminer plus tard.
L’inférence par lots exécute ce type de travail comme une seule tâche. Vous soumettez chaque requête en même temps, vérifiez le statut du travail et collectez tous les résultats ensemble. Votre code ne garde pas des milliers de connexions ouvertes ni ne rythme ses propres requêtes, et sur certains modèles, les requêtes en lot coûtent moins cher que les mêmes requêtes envoyées en temps réel.
custom_id qui est unique dans le fichier (jusqu’à 256 caractères) et un Corps avec la même requête que vous enverrez en temps réel. Une ligne peut également se définir Méthode à POST et URL vers le point final du batch. Un fichier peut contenir jusqu’à 50 000 requêtes.POST /v1/files avec Objectif Fixer à lot.POST /v1/batches avec le retour input_file_id. point final par défaut à /v1/chat/completions, completion_window est 24h, et Métadonnées Porte tes propres étiquettes.ALLEZ-/v1/batches/{batch_id}. Sa Statut se déplace à travers validation, in_progress et finalisation à achevé, ou se termine par Échoué, expiré ou annulé.output_file_id et error_file_id avec ALLEZ-/v1/files/{file_id}/content.Le Guide de l’API Batch a des exemples complets, et le créer une référence batch Liste chaque champ.
Le fichier de sortie comporte une ligne pour chaque requête réussie, et le fichier d’erreur une ligne pour chaque requête qui n’a pas réussi. Chaque ligne porte le custom_id vous avez défini, afin que les résultats correspondent aux requêtes par cet ID. Une requête qui a été exécutée possède un Réponse avec sa status_code et Corps. Une requête qui n’a jamais été exécutée a été Réponse Fixer à null et une Erreur Code tel que batch_expired ou batch_cancelled.
Un lot qui n’est pas terminé à la fin de sa fenêtre de 24 heures expire, et ses requêtes inachevées apparaissent dans le fichier d’erreur; soumettez-les à nouveau dans un nouveau lot. POST /v1/batches/{batch_id}/cancel arrête un lot plus tôt, et les requêtes déjà exécutées restent facturées. Les fichiers d’entrée expirent 7 jours après le téléchargement, et les fichiers de sortie et d’erreur 7 jours après la fin du lot, donc les résultats de téléchargement avant cette date.
Seuls les modèles éligibles aux lots peuvent s’exécuter en lot. ALLEZ-/v1/models Rapports batch_supported pour chaque modèle, les pages de modèles éligibles affichent une ligne API de batch, et un lot dont les lignes nomment d’autres modèles est refusé lors de sa création. Les modèles listés sur cette page sont les éligibles.
Chaque gamme facture lorsqu’elle tourne, au prix catalogue du modèle moins sa batch_discount_pct. Certains modèles sont produits en lots à prix réduit, d’autres au prix catalogue, où la valeur est 0. Sur un modèle avec une réduction par lots, les requêtes par lots ne peuvent pas utiliser la recherche web ni les outils intégrés, donc envoyez ces requêtes en temps réel. Pour estimer le coût d’une tâche, comptez ses jetons comme décrit dans Que sont les jetons, et comparer les éligibles Modèles de texte.
8 modèles. La page de chaque modèle présente sa grille tarifaire, ses paramètres et du code.
| Modèle | Batch API | Catégorie |
|---|---|---|
| Mistral Small 4 Mistral AI | Disponible, 35% de remise sur le prix catalogue | Génération de texte |
| Nova Lite 1.0 Amazon | Disponible, 35% de remise sur le prix catalogue | Génération de texte |
| Nova Lite 2 Amazon | Disponible, 35% de remise sur le prix catalogue | Génération de texte |
| Nova Micro 1.0 Amazon | Disponible, 35% de remise sur le prix catalogue | Génération de texte |
| Nova Pro 1.0 Amazon | Disponible, 35% de remise sur le prix catalogue | Génération de texte |
| Seed 2.0 Lite ByteDance | Disponible | Génération de texte |
| Seed 2.0 Mini ByteDance | Disponible | Génération de texte |
| Seed 2.0 Pro ByteDance | Disponible | Génération de texte |
Un lot s’exécute dans une fenêtre d’achèvement de 24 heures. Les requêtes qui n’ont pas été exécutées à la fin de la fenêtre sont renvoyées dans le fichier d’erreur comme expirées, afin que vous puissiez les soumettre à nouveau.
Sur certains modèles. Chaque modèle éligible affiche sa remise de lot, et une valeur de 0 signifie que le lot est exécuté au prix de liste du modèle.
Un fichier d’entrée peut accueillir jusqu’à 50 000 requêtes, une par ligne, chacune avec son propre custom_id.
Oui. L’annulation arrête les requêtes qui n’ont pas été exécutées, qui apparaissent dans le fichier d’erreur comme annulées. Les requêtes déjà exécutées restent facturées.
Consultez nos tarifs ou contactez-nous si vous souhaitez que votre propre modèle soit déployé sur notre stack.