배치 추론이란 무엇인가요?

배치 추론은 여러 모델 요청을 한 번에 한 번에 호출하는 대신 하나의 비동기 작업으로 실행합니다. 요청 파일을 업로드하면 완료 창 내에서 실행되고, 결과 파일을 다운로드하면 즉각적인 응답이 필요하지 않은 대규모 작업에 적합합니다.

개념

배치 추론이 적합할 때

대부분의 모델 호출은 실시간으로 이루어집니다: 애플리케이션이 요청을 보내고 답변을 기다립니다. 많은 워크로드는 몇 초 내에 답변을 받을 필요가 없습니다. 제품 카탈로그 분류, 문서 아카이브 요약, 수천 개의 기록에서 필드를 추출하거나 평가 세트에 대한 출력 생성 등이 모두 백그라운드에서 실행되었다가 나중에 마무리될 수 있습니다.

배치 추론은 그런 작업을 하나의 작업으로 처리합니다. 모든 요청을 한 번에 제출하고, 작업 상태를 확인한 뒤 모든 결과를 함께 수집합니다. 코드는 수천 개의 연결을 열어 두지도 않고 자체 요청을 조절하지 않으며, 일부 모델에서는 배치 요청이 실시간으로 보내는 동일한 요청보다 비용이 적게 듭니다.

배치 API의 작동 원리

  1. JSONL 파일을 작성하세요. 한 줄당 한 개의 요청을 입력하세요. 각 줄은 custom_id 파일 내에서 고유한 것(최대 256자)과 몸 실시간으로 보낼 것과 같은 요청으로. 라인이 설정될 수도 있습니다 방법 로 포스트 그리고 URL 배치 엔드포인트로. 한 파일은 최대 50,000개의 요청을 저장할 수 있습니다.
  2. 업로드하세요. 파일을 다음 주소로 보내세요 포스트 /v1/files 이름 * 목적 다음 배치·.
  3. 배치를 생성하세요. 콜 포스트 /v1/batches 돌아온 사람들과 함께 input_file_id·. 엔드포인트 기본값은 /v1/chat/completions·, completion_window 이야. 24시간, 그리고 메타데이터 자신만의 꼬리표를 가지고 있죠.
  4. 그 상태를 조사하세요. 콜 빨리 /v1/batches/{batch_id}. 그것의 현황 통과 검증·, in_progress 그리고 최종 완료 로 지원하다, 또는 다음과 같이 끝난다. 실패·, 만료됨 또는 취소됨·.
  5. 결과를 다운로드하세요. 배치가 끝나면 다음 이름의 파일을 가져옵니다. output_file_id 그리고 error_file_id 이름 * 빨리 /v1/files/{file_id}/content·.

그 배치 API 가이드 완전한 예제를 가지며, 배치 참조 생성 모든 필드를 나열합니다.

결과 읽기

출력 파일은 성공한 각 요청마다 한 줄씩 있고, 오류 파일은 성공하지 못한 요청마다 한 줄씩 있습니다. 각 줄은 다음을 담고 있습니다. custom_id 설정하여 해당 ID로 결과를 요청과 일치시킵니다. 실행된 요청은 응답 그 status_code 그리고 몸. 실행되지 않았던 요청이 응답 다음 null 그리고 오류 다음과 같은 코드 batch_expired 또는 batch_cancelled·.

24시간 창이 끝날 때 완료되지 않은 배치는 만료되며, 미완료 요청이 오류 파일에 표시됩니다; 새 배치로 다시 제출하세요. 포스트 /v1/batches/{batch_id}/cancel 배치를 조기 중지시키고, 이미 실행된 요청은 계속 청구됩니다. 입력 파일은 업로드 후 7일 후에 만료되고, 출력 및 오류 파일은 배치 종료 후 7일 후에 만료되므로 그 이전에 다운로드 결과가 적용됩니다.

지원 대상 모델 및 청구 방식

배치 대상 모델만 배치에서 실행할 수 있습니다. 빨리 /v1/models 보고서 batch_supported 각 모델에 대해 적격 모델 페이지에는 배치 API 행이 표시되며, 다른 모델 이름이 명명된 줄이 생성 시 거부되는 배치가 표시됩니다. 이 페이지에 나열된 모델들은 해당 모델입니다.

각 라인은 실행 시 모델의 정가에서 뺀 금액으로 청구합니다 batch_discount_pct. 일부 모델은 할인된 가격으로 일량 생산되고, 다른 모델은 정가로 판매되며, 이 경우 가치는 0. 배치 할인 모델에서는 배치 요청이 웹 검색이나 내장 도구를 사용할 수 없으므로 실시간으로 요청을 보냅니다. 작업 비용을 추정하려면 설명된 대로 토큰 수를 세세요. 토큰이란 무엇인가, 그리고 적격 자격을 비교하고 텍스트 모델·.

Batch API로 사용할 수 있는 모델

모델 8개. 각 모델 페이지에 요금표, 파라미터, 코드가 있습니다.

모델Batch API카테고리
Mistral Small 4 Mistral AI사용 가능, 정가 대비 35% 할인텍스트 생성
Nova Lite 1.0 Amazon사용 가능, 정가 대비 35% 할인텍스트 생성
Nova Lite 2 Amazon사용 가능, 정가 대비 35% 할인텍스트 생성
Nova Micro 1.0 Amazon사용 가능, 정가 대비 35% 할인텍스트 생성
Nova Pro 1.0 Amazon사용 가능, 정가 대비 35% 할인텍스트 생성
Seed 2.0 Lite ByteDance사용 가능텍스트 생성
Seed 2.0 Mini ByteDance사용 가능텍스트 생성
Seed 2.0 Pro ByteDance사용 가능텍스트 생성

자주 묻는 질문

한 배치는 얼마나 걸리나요?

배치는 24시간 완료 기간 내에 실행됩니다. 창이 끝날 때 실행되지 않은 요청은 오류 파일에 만료된 것으로 반환되므로 다시 제출할 수 있습니다.

배치 추론이 실시간 요청보다 저렴한가요?

일부 모델에서는. 각 적격 모델은 배치 할인 가격을 표시하며, 값이 0이면 배치가 모델의 정가로 실행된다는 의미입니다.

한 배치에 몇 개의 요청을 저장할 수 있나요?

하나의 입력 파일은 최대 50,000개의 요청을 저장할 수 있으며, 각 요청은 각 라인마다 고유한 custom_id을 가집니다.

배치를 취소할 수 있나요?

예. 취소하면 실행 파일이 취소된 것으로 표시되는 실행 중지 요청이 중지됩니다. 이미 실행된 요청은 계속 청구됩니다.

더 나은 엔드포인트를 사용할 준비가 되셨나요?

저희 가격을 확인하시거나 저희 스택에 자체 모델을 배포하고 싶으시면 연락해 주세요.