¿Qué es la inferencia por lotes?

La inferencia por lotes ejecuta muchas solicitudes de modelo como un solo trabajo asíncrono en lugar de una llamada a la vez. Subes un archivo de solicitudes, se ejecutan dentro de una ventana de finalización y descargas un archivo de resultados, que se adapta a trabajos grandes que no necesitan una respuesta inmediata.

Conceptos

Cuando la inferencia por lotes encaja

La mayoría de las llamadas al modelo son en tiempo real: una aplicación envía una solicitud y espera la respuesta. Muchas cargas de trabajo no necesitan respuesta en cuestión de segundos. Clasificar un catálogo de productos, resumir un archivo de documentos, extraer campos de miles de registros o generar salidas para un conjunto de evaluación pueden ejecutarse en segundo plano y finalizar más tarde.

La inferencia por lotes ejecuta ese tipo de trabajo como un solo trabajo. Envías todas las solicitudes de una vez, revisas el estado del trabajo y recopilas todos los resultados juntos. Tu código no mantiene miles de conexiones abiertas ni controla sus propias solicitudes, y en algunos modelos las solicitudes por lotes cuestan menos que las mismas solicitudes enviadas en tiempo real.

Cómo funciona la API por lotes

  1. Escribe un archivo JSONL. Pon una solicitud por línea. Cada línea tiene un custom_id que es único en el archivo (hasta 256 caracteres) y un Cuerpo con la misma solicitud que enviarías en tiempo real. También puede establecer una línea Método a POST y URL al endpoint del lote. Un archivo puede almacenar hasta 50.000 solicitudes.
  2. Súbelo. Enviar el archivo a POST /v1/files con Propósito Establecido a lote.
  3. Crea el lote. Llama POST /v1/batches con el retorno input_file_id. endpoint por defecto es /v1/chat/completions, completion_window es 24h, y Metadatos Tiene sus propias etiquetas.
  4. Consulta su estado. Llama ¡VE /v1/batches/{batch_id}. Su Estado se mueve a través validando, in_progress y finalizando a terminado, o termina como fallido, caducado o cancelado.
  5. Descarga los resultados. Cuando termine el lote, recupera los archivos con el nombre de output_file_id y error_file_id con ¡VE /v1/files/{file_id}/content.

El Guía de API por lotes tiene ejemplos completos, y la crear referencia por lotes Lista todos los campos.

Lectura de los resultados

El archivo de salida tiene una línea para cada solicitud que tuvo éxito, y el archivo de error una línea para cada solicitud que no lo hizo. Cada línea lleva el custom_id que establezcas, así que los resultados coincidan con las solicitudes de ese ID. Una solicitud que se ejecutó tiene un Respuesta con su status_code y Cuerpo. Una petición que nunca se ha ejecutado Respuesta Establecido a null y un Error código como batch_expired o batch_cancelled.

Un lote que no ha finalizado cuando finaliza su ventana de 24 horas expira, y sus solicitudes inconclusas aparecen en el archivo de error; envíalas de nuevo en un nuevo lote. POST /v1/batches/{batch_id}/cancel detiene un lote antes de tiempo y las solicitudes que ya se ejecutaron permanecen facturadas. Los archivos de entrada expiran 7 días después de la carga, y los archivos de salida y errores 7 días después de que termine el lote, así que descarga los resultados antes de eso.

Modelos elegibles y facturación

Solo los modelos elegibles para lotes pueden ejecutarse en un lote. ¡VE /v1/models Informes batch_supported para cada modelo, las páginas de modelos elegibles muestran una fila API por lotes, y un lote cuyas líneas nombran a otros modelos se rechaza cuando lo creas. Los modelos listados en esta página son los elegibles.

Cada línea factura cuando funciona, al precio de lista del modelo menos su batch_discount_pct. Algunos modelos se venden en lote con descuento, y otros a precio de lista, donde el valor está 0. En un modelo con descuento por lotes, las solicitudes por lotes no pueden usar búsqueda web ni herramientas integradas, por lo que envíe esas solicitudes en tiempo real. Para estimar el coste de un trabajo, cuente sus tokens como se describe en qué son los tokens, y comparar los elegibles Modelos de texto.

Modelos disponibles en la Batch API

8 modelos. La página de cada modelo tiene su tarjeta de precios, parámetros y código.

ModeloBatch APICategoría
Mistral Small 4 Mistral AIDisponible, 35% de descuento sobre el precio de listaGeneracion de texto
Nova Lite 1.0 AmazonDisponible, 35% de descuento sobre el precio de listaGeneracion de texto
Nova Lite 2 AmazonDisponible, 35% de descuento sobre el precio de listaGeneracion de texto
Nova Micro 1.0 AmazonDisponible, 35% de descuento sobre el precio de listaGeneracion de texto
Nova Pro 1.0 AmazonDisponible, 35% de descuento sobre el precio de listaGeneracion de texto
Seed 2.0 Lite ByteDanceDisponibleGeneracion de texto
Seed 2.0 Mini ByteDanceDisponibleGeneracion de texto
Seed 2.0 Pro ByteDanceDisponibleGeneracion de texto

Preguntas frecuentes

¿Cuánto tarda un lote?

Un lote se ejecuta dentro de una ventana de finalización de 24 horas. Las solicitudes que no se han ejecutado cuando termina la ventana se devuelven en el archivo de error como expiradas, para que puedas enviarlas de nuevo.

¿Es la inferencia por lotes más barata que las solicitudes en tiempo real?

En algunos modelos. Cada modelo elegible indica su descuento por lote, y un valor de 0 significa que el lote se ejecuta al precio de lista del modelo.

¿Cuántas solicitudes puede contener un lote?

Un archivo de entrada contiene hasta 50.000 solicitudes, una por línea, cada una con su propio custom_id.

¿Puedo cancelar un lote?

Sí. Cancelar detiene las solicitudes que no se han ejecutado, que aparecen en el archivo de error como canceladas. Las solicitudes que ya se ejecutaron permanecen facturadas.

¿Listo para usar mejores endpoints?

Consulta nuestros precios o contacta con nosotros si quieres que tu propio modelo se implemente en nuestra pila.