Qu’est-ce que l’inférence par lots ?

L’inférence par lots exécute de nombreuses requêtes de modèle comme un seul travail asynchrone au lieu d’un appel à la fois. Vous téléversez un fichier de requêtes, elles s’exécutent dans une fenêtre d’achèvement, et vous téléchargez un fichier de résultats, ce qui convient aux tâches volumineuses qui n’ont pas besoin de réponse immédiate.

Concepts

Lorsque l’inférence par lots s’ajuste

La plupart des appels de modèle se font en temps réel: une application envoie une requête et attend la réponse. De nombreuses charges de travail n’ont pas besoin de réponse en quelques secondes. La classification d’un catalogue de produits, le résumé d’une archive de documents, l’extraction de champs à partir de milliers d’enregistrements ou la génération de sorties pour un ensemble d’évaluation peuvent tous s’exécuter en arrière-plan et se terminer plus tard.

L’inférence par lots exécute ce type de travail comme une seule tâche. Vous soumettez chaque requête en même temps, vérifiez le statut du travail et collectez tous les résultats ensemble. Votre code ne garde pas des milliers de connexions ouvertes ni ne rythme ses propres requêtes, et sur certains modèles, les requêtes en lot coûtent moins cher que les mêmes requêtes envoyées en temps réel.

Comment fonctionne l’API Batch

  1. Écris un fichier JSONL. Placez une requête par ligne. Chaque ligne a un custom_id qui est unique dans le fichier (jusqu’à 256 caractères) et un Corps avec la même requête que vous enverrez en temps réel. Une ligne peut également se définir Méthode à POST et URL vers le point final du batch. Un fichier peut contenir jusqu’à 50 000 requêtes.
  2. Téléchargez-le. Envoyer le fichier à POST /v1/files avec Objectif Fixer à lot.
  3. Créez le lot. Appelez POST /v1/batches avec le retour input_file_id. point final par défaut à /v1/chat/completions, completion_window est 24h, et Métadonnées Porte tes propres étiquettes.
  4. Évaluez son statut. Appelez ALLEZ-/v1/batches/{batch_id}. Sa Statut se déplace à travers validation, in_progress et finalisation à achevé, ou se termine par Échoué, expiré ou annulé.
  5. Téléchargez les résultats. Lorsque le lot se termine, récupérez les fichiers nommés par output_file_id et error_file_id avec ALLEZ-/v1/files/{file_id}/content.

Le Guide de l’API Batch a des exemples complets, et le créer une référence batch Liste chaque champ.

Lecture des résultats

Le fichier de sortie comporte une ligne pour chaque requête réussie, et le fichier d’erreur une ligne pour chaque requête qui n’a pas réussi. Chaque ligne porte le custom_id vous avez défini, afin que les résultats correspondent aux requêtes par cet ID. Une requête qui a été exécutée possède un Réponse avec sa status_code et Corps. Une requête qui n’a jamais été exécutée a été Réponse Fixer à null et une Erreur Code tel que batch_expired ou batch_cancelled.

Un lot qui n’est pas terminé à la fin de sa fenêtre de 24 heures expire, et ses requêtes inachevées apparaissent dans le fichier d’erreur; soumettez-les à nouveau dans un nouveau lot. POST /v1/batches/{batch_id}/cancel arrête un lot plus tôt, et les requêtes déjà exécutées restent facturées. Les fichiers d’entrée expirent 7 jours après le téléchargement, et les fichiers de sortie et d’erreur 7 jours après la fin du lot, donc les résultats de téléchargement avant cette date.

Modèles éligibles et facturation

Seuls les modèles éligibles aux lots peuvent s’exécuter en lot. ALLEZ-/v1/models Rapports batch_supported pour chaque modèle, les pages de modèles éligibles affichent une ligne API de batch, et un lot dont les lignes nomment d’autres modèles est refusé lors de sa création. Les modèles listés sur cette page sont les éligibles.

Chaque gamme facture lorsqu’elle tourne, au prix catalogue du modèle moins sa batch_discount_pct. Certains modèles sont produits en lots à prix réduit, d’autres au prix catalogue, où la valeur est 0. Sur un modèle avec une réduction par lots, les requêtes par lots ne peuvent pas utiliser la recherche web ni les outils intégrés, donc envoyez ces requêtes en temps réel. Pour estimer le coût d’une tâche, comptez ses jetons comme décrit dans Que sont les jetons, et comparer les éligibles Modèles de texte.

Modèles disponibles via la Batch API

8 modèles. La page de chaque modèle présente sa grille tarifaire, ses paramètres et du code.

ModèleBatch APICatégorie
Mistral Small 4 Mistral AIDisponible, 35% de remise sur le prix catalogueGénération de texte
Nova Lite 1.0 AmazonDisponible, 35% de remise sur le prix catalogueGénération de texte
Nova Lite 2 AmazonDisponible, 35% de remise sur le prix catalogueGénération de texte
Nova Micro 1.0 AmazonDisponible, 35% de remise sur le prix catalogueGénération de texte
Nova Pro 1.0 AmazonDisponible, 35% de remise sur le prix catalogueGénération de texte
Seed 2.0 Lite ByteDanceDisponibleGénération de texte
Seed 2.0 Mini ByteDanceDisponibleGénération de texte
Seed 2.0 Pro ByteDanceDisponibleGénération de texte

Questions fréquentes

Combien de temps prend un lot ?

Un lot s’exécute dans une fenêtre d’achèvement de 24 heures. Les requêtes qui n’ont pas été exécutées à la fin de la fenêtre sont renvoyées dans le fichier d’erreur comme expirées, afin que vous puissiez les soumettre à nouveau.

L’inférence par lots est-elle moins chère que les requêtes en temps réel ?

Sur certains modèles. Chaque modèle éligible affiche sa remise de lot, et une valeur de 0 signifie que le lot est exécuté au prix de liste du modèle.

Combien de requêtes un lot peut-il contenir ?

Un fichier d’entrée peut accueillir jusqu’à 50 000 requêtes, une par ligne, chacune avec son propre custom_id.

Puis-je annuler un lot ?

Oui. L’annulation arrête les requêtes qui n’ont pas été exécutées, qui apparaissent dans le fichier d’erreur comme annulées. Les requêtes déjà exécutées restent facturées.

Prêt à utiliser de meilleurs points de terminaison ?

Consultez nos tarifs ou contactez-nous si vous souhaitez que votre propre modèle soit déployé sur notre stack.