O que é inferência em lote?

A inferência em lote executa muitas solicitações de modelo como um único trabalho assíncrono, em vez de uma chamada por vez. Você faz upload de um arquivo de solicitações, elas rodam dentro de uma janela de conclusão e você baixa um arquivo de resultados, que se adequa a tarefas grandes que não precisam de resposta imediata.

Conceitos

Quando a inferência em lote se encaixa

A maioria das chamadas de modelo é em tempo real: um aplicativo envia uma solicitação e aguarda a resposta. Muitas cargas de trabalho não precisam de resposta em questão de segundos. Classificar um catálogo de produtos, resumir um arquivo de documentos, extrair campos de milhares de registros ou gerar saídas para um conjunto de avaliação podem tudo rodar em segundo plano e terminar depois.

Inferência em lote executa esse tipo de trabalho como um único trabalho. Você envia todas as solicitações de uma vez, verifica o status do trabalho e coleta todos os resultados juntos. Seu código não mantém milhares de conexões abertas nem acompanha suas próprias requisições, e em alguns modelos as solicitações em lote custam menos do que as mesmas solicitações enviadas em tempo real.

Como funciona a API Batch

  1. Escreva um arquivo JSONL. Coloque uma solicitação por linha. Cada linha tem um custom_id que é único no arquivo (até 256 caracteres) e um Corpo com a mesma solicitação que você enviaria em tempo real. Uma linha também pode ser definida Método para POSTAR e URL para o endpoint do lote. Um arquivo repara até 50.000 requisições.
  2. Faça o upload. Enviar o arquivo para POST /v1/files com Finalidade definir para lote.
  3. Crie o lote. Chamada POST /v1/batches com o retorno input_file_id. endpoint define como padrão /v1/chat/completions, completion_window é 24h, e Metadados tem seus próprios rótulos.
  4. Consulte seu status. Chamada VÁ /v1/batches/{batch_id}. Sua Status se move através validando, in_progress e finalizando para completo, ou termina como falhou, expirado ou cancelado.
  5. Baixe os resultados. Quando o lote terminar, busque os arquivos nomeados por output_file_id e error_file_id com VÁ /v1/files/{file_id}/content.

O Guia da API em lote possui exemplos completos, e o criar referência de lote lista todos os campos.

Lendo os resultados

O arquivo de saída tem uma linha para cada solicitação que foi bem-sucedida, e o arquivo de erro tem uma linha para cada solicitação que não teve sucesso. Cada linha carrega o custom_id você definiu, para que os resultados correspondam às solicitações por esse ID. Uma solicitação executada possui um Resposta com seu status_code e Corpo. Um pedido que nunca foi executado Resposta definir para null e um Erro código como batch_expired ou batch_cancelled.

Um lote que não terminou quando sua janela de 24 horas termina expira, e suas solicitações incompletas aparecem no arquivo de erro; envie-as novamente em um novo lote. POST /v1/batches/{batch_id}/cancel Interrompe um lote mais cedo e solicitações que já foram executadas permanecem cobradas. Arquivos de entrada expiram 7 dias após o upload, e arquivos de saída e erro 7 dias após o término do lote, então baixe os resultados antes disso.

Modelos elegíveis e cobrança

Apenas modelos elegíveis para lotes podem ser executados em lote. VÁ /v1/models Relatórios batch_supported para cada modelo, páginas de modelos elegíveis mostram uma linha de API em lote, e um lote cujas linhas nomeiam outros modelos é recusado quando você o cria. Os modelos listados nesta página são os elegíveis.

Cada linha cobra quando está em carta, pelo preço de tabela do modelo menos o seu batch_discount_pct. Alguns modelos são distribuídos em lote com desconto, e outros pelo preço de lista, onde o valor é 0. Em um modelo com desconto por lote, as solicitações em lote não podem usar busca na web ou ferramentas integradas, portanto envie essas solicitações em tempo real. Para estimar o custo de um trabalho, conte seus tokens conforme descrito em o que são tokens, e comparar elegíveis Modelos de texto.

Modelos disponíveis na Batch API

8 modelos. A página de cada modelo traz a tabela de preços, os parâmetros e código.

ModeloBatch APICategoria
Mistral Small 4 Mistral AIDisponível, 35% de desconto sobre o preço de tabelaGeração de Texto
Nova Lite 1.0 AmazonDisponível, 35% de desconto sobre o preço de tabelaGeração de Texto
Nova Lite 2 AmazonDisponível, 35% de desconto sobre o preço de tabelaGeração de Texto
Nova Micro 1.0 AmazonDisponível, 35% de desconto sobre o preço de tabelaGeração de Texto
Nova Pro 1.0 AmazonDisponível, 35% de desconto sobre o preço de tabelaGeração de Texto
Seed 2.0 Lite ByteDanceDisponívelGeração de Texto
Seed 2.0 Mini ByteDanceDisponívelGeração de Texto
Seed 2.0 Pro ByteDanceDisponívelGeração de Texto

Perguntas frequentes

Quanto tempo leva um lote?

Um lote é executado dentro de uma janela de conclusão de 24 horas. Solicitações que não foram executadas quando a janela termina são retornadas no arquivo de erro como expiradas, para que você possa enviá-las novamente.

A inferência em lote é mais barata do que solicitações em tempo real?

Em alguns modelos. Cada modelo elegível lista seu desconto por lote, e um valor de 0 significa que o lote roda pelo preço de lista do modelo.

Quantas solicitações um lote pode conter?

Um arquivo de entrada comporta até 50.000 requisições, uma por linha, cada uma com seu próprio custom_id.

Posso cancelar um lote?

Sim. Cancelar para as solicitações que não foram executadas, que aparecem no arquivo de erro como canceladas. Solicitações já executadas permanecem cobradas.

Pronto para usar endpoints melhores?

Confira nossos preços ou entre em contato se quiser que seu próprio modelo seja implementado em nossa pilha.