배치 추론은 여러 모델 요청을 한 번에 한 번에 호출하는 대신 하나의 비동기 작업으로 실행합니다. 요청 파일을 업로드하면 완료 창 내에서 실행되고, 결과 파일을 다운로드하면 즉각적인 응답이 필요하지 않은 대규모 작업에 적합합니다.
대부분의 모델 호출은 실시간으로 이루어집니다: 애플리케이션이 요청을 보내고 답변을 기다립니다. 많은 워크로드는 몇 초 내에 답변을 받을 필요가 없습니다. 제품 카탈로그 분류, 문서 아카이브 요약, 수천 개의 기록에서 필드를 추출하거나 평가 세트에 대한 출력 생성 등이 모두 백그라운드에서 실행되었다가 나중에 마무리될 수 있습니다.
배치 추론은 그런 작업을 하나의 작업으로 처리합니다. 모든 요청을 한 번에 제출하고, 작업 상태를 확인한 뒤 모든 결과를 함께 수집합니다. 코드는 수천 개의 연결을 열어 두지도 않고 자체 요청을 조절하지 않으며, 일부 모델에서는 배치 요청이 실시간으로 보내는 동일한 요청보다 비용이 적게 듭니다.
custom_id 파일 내에서 고유한 것(최대 256자)과 몸 실시간으로 보낼 것과 같은 요청으로. 라인이 설정될 수도 있습니다 방법 로 포스트 그리고 URL 배치 엔드포인트로. 한 파일은 최대 50,000개의 요청을 저장할 수 있습니다.포스트 /v1/files 이름 * 목적 다음 배치·.포스트 /v1/batches 돌아온 사람들과 함께 input_file_id·. 엔드포인트 기본값은 /v1/chat/completions·, completion_window 이야. 24시간, 그리고 메타데이터 자신만의 꼬리표를 가지고 있죠.빨리 /v1/batches/{batch_id}. 그것의 현황 통과 검증·, in_progress 그리고 최종 완료 로 지원하다, 또는 다음과 같이 끝난다. 실패·, 만료됨 또는 취소됨·.output_file_id 그리고 error_file_id 이름 * 빨리 /v1/files/{file_id}/content·.그 배치 API 가이드 완전한 예제를 가지며, 배치 참조 생성 모든 필드를 나열합니다.
출력 파일은 성공한 각 요청마다 한 줄씩 있고, 오류 파일은 성공하지 못한 요청마다 한 줄씩 있습니다. 각 줄은 다음을 담고 있습니다. custom_id 설정하여 해당 ID로 결과를 요청과 일치시킵니다. 실행된 요청은 응답 그 status_code 그리고 몸. 실행되지 않았던 요청이 응답 다음 null 그리고 오류 다음과 같은 코드 batch_expired 또는 batch_cancelled·.
24시간 창이 끝날 때 완료되지 않은 배치는 만료되며, 미완료 요청이 오류 파일에 표시됩니다; 새 배치로 다시 제출하세요. 포스트 /v1/batches/{batch_id}/cancel 배치를 조기 중지시키고, 이미 실행된 요청은 계속 청구됩니다. 입력 파일은 업로드 후 7일 후에 만료되고, 출력 및 오류 파일은 배치 종료 후 7일 후에 만료되므로 그 이전에 다운로드 결과가 적용됩니다.
배치 대상 모델만 배치에서 실행할 수 있습니다. 빨리 /v1/models 보고서 batch_supported 각 모델에 대해 적격 모델 페이지에는 배치 API 행이 표시되며, 다른 모델 이름이 명명된 줄이 생성 시 거부되는 배치가 표시됩니다. 이 페이지에 나열된 모델들은 해당 모델입니다.
각 라인은 실행 시 모델의 정가에서 뺀 금액으로 청구합니다 batch_discount_pct. 일부 모델은 할인된 가격으로 일량 생산되고, 다른 모델은 정가로 판매되며, 이 경우 가치는 0. 배치 할인 모델에서는 배치 요청이 웹 검색이나 내장 도구를 사용할 수 없으므로 실시간으로 요청을 보냅니다. 작업 비용을 추정하려면 설명된 대로 토큰 수를 세세요. 토큰이란 무엇인가, 그리고 적격 자격을 비교하고 텍스트 모델·.
모델 8개. 각 모델 페이지에 요금표, 파라미터, 코드가 있습니다.
| 모델 | Batch API | 카테고리 |
|---|---|---|
| Mistral Small 4 Mistral AI | 사용 가능, 정가 대비 35% 할인 | 텍스트 생성 |
| Nova Lite 1.0 Amazon | 사용 가능, 정가 대비 35% 할인 | 텍스트 생성 |
| Nova Lite 2 Amazon | 사용 가능, 정가 대비 35% 할인 | 텍스트 생성 |
| Nova Micro 1.0 Amazon | 사용 가능, 정가 대비 35% 할인 | 텍스트 생성 |
| Nova Pro 1.0 Amazon | 사용 가능, 정가 대비 35% 할인 | 텍스트 생성 |
| Seed 2.0 Lite ByteDance | 사용 가능 | 텍스트 생성 |
| Seed 2.0 Mini ByteDance | 사용 가능 | 텍스트 생성 |
| Seed 2.0 Pro ByteDance | 사용 가능 | 텍스트 생성 |
배치는 24시간 완료 기간 내에 실행됩니다. 창이 끝날 때 실행되지 않은 요청은 오류 파일에 만료된 것으로 반환되므로 다시 제출할 수 있습니다.
일부 모델에서는. 각 적격 모델은 배치 할인 가격을 표시하며, 값이 0이면 배치가 모델의 정가로 실행된다는 의미입니다.
하나의 입력 파일은 최대 50,000개의 요청을 저장할 수 있으며, 각 요청은 각 라인마다 고유한 custom_id을 가집니다.
예. 취소하면 실행 파일이 취소된 것으로 표시되는 실행 중지 요청이 중지됩니다. 이미 실행된 요청은 계속 청구됩니다.