프롬프트 캐싱이란 무엇인가요?

프롬프트 캐싱은 프롬프트의 시작 부분을 모델이 이전에 처리한 것을 재사용합니다. 요청이 최근 토큰과 동일한 토큰으로 시작하면, 해당 캐시 토큰은 1개 토큰을 나열하는 모델에서는 더 낮은 캐시 읽기 속도로 청구하고, 나머지는 정상 입력 속도로 청구합니다.

개념

프롬프트 캐징이란 무엇인가

모델이 무언가를 쓰기 전에, 입력의 모든 토큰을 처리합니다. 많은 애플리케이션은 모든 요청마다 동일한 시작 토큰을 보냅니다: 긴 시스템 프롬프트, 도구 정의 집합, 참조 문서, 또는 이전 대화 순서 등.

프롬프트 캐싱은 그 열린 부분의 처리된 결과를 프리픽스라고 합니다. 이후 요청이 정확히 같은 토큰으로 시작하면, 모델은 캐시된 접두사를 재사용하고 그 뒤에 오는 새로운 토큰만 처리합니다. 출력은 일반적인 방식으로 생성되므로, 캐싱은 모델이 무엇을 쓰는지가 아니라 입력의 청구 방식을 변경합니다.

시스템 프롬프트와 도구 정의가 4,000개의 토큰으로 나오고, 이어서 150개의 토큰 질문이 나오는 어시스턴트를 생각해 봅시다. 그 첫 부분이 캐시에서 읽히면, 4,150개의 입력 토큰 중 약 4,000개가 캐시 읽기 속도로 청구되고, 질문 자체만이 전체 입력 속도로 청구됩니다.

접두사가 정확히 일치해야 하는 이유

캐시 매치는 첫 번째 토큰에서 시작하여 첫 번째 차이에서 종료됩니다. 프롬프트 시작 근처의 타임스탬프, 사용자 이름 또는 시스템 프롬프트 내 요청 ID 같은 한 문자가 변경되더라도, 캐시에서 읽을 수 있는 이후에는 아무 의미가 없습니다. 캐시 히트율을 올리려면:

  • 안정적인 콘텐츠를 최우선으로 하세요. 설명서, 도구 정의, 예시, 긴 참고 문서는 맨 앞에 배치됩니다. 사용자의 질문, 가져온 구절, 그리고 변경된 부분은 모두 마지막에 배치합니다.
  • 안정 부품은 동일하게 유지하세요. 도구와 예시는 같은 순서, 같은 문구, 모든 요청에 같은 여백을 사용하세요.
  • 편집 대신 덧붙이세요. 대화에서는 매 새로운 턴을 마지막에 추가하고, 이전 턴은 변경하지 않게 하여 모든 요청이 이전 요청을 연장하도록 하세요.

일치하는 접두사는 캐시가 읽힐 가능성이 높다는 뜻이지 확실하지 않으니, 단정 짓기보다는 히트율을 측정하세요.

캐시된 입력은 EmpirioLabs AI에서 어떻게 청구되는지에 따라

캐싱은 자동으로 이루어집니다. 캐시를 생성하거나 추가할 마커가 없습니다: 캐시를 지원하는 모델에서는 반복되는 접두사가 단독으로 캐시됩니다.

  • 어떤 모델들이요. 모델은 캐시 읽기 가격을 나열할 때 프롬프트 캐싱을 지원합니다. 이 페이지에 나열된 모델들은 프롬프트 캐싱을 가지고 있습니다.
  • 청구. 캐시된 입력 토큰은 모델의 일반 입력 속도보다 낮은 캐시 읽기 속도로 청구합니다. 캐시되지 않은 입력 및 모든 출력 토큰은 일반적인 속도로 청구됩니다.
  • 카탈로그 API에서. 빨리 /v1/models 비율을 다음과 같이 보고합니다. input_cache_read in 가격. 캐시 할인이 없는 모델에서는 일반 입력 속도와 같습니다.
  • 각 답변에서. 캐싱이 적용될 경우, 사용 예를 들어 캐시된 토큰을 보고합니다 cache_read_input_tokens 온 /v1/messages 에 그리고 input_tokens_details.cached_tokens 온 /v1/responses 에·.
  • 시간이 지나면서. 그 계정 사용 API 반환 cache_hit_rate, 시간 창 내에서 캐시에서 제공되는 입력 토큰의 비중, 모든 모델 또는 단일 모델에 대한 비중입니다.

캐시된 토큰도 여전히 입력이므로 컨텍스트 창 다른 토큰처럼.

캐싱이 가장 도움이 되는 부분

  • 채팅 애플리케이션과 상담원이 매번 커지는 대화를 재전송하는 경우.
  • 같은 긴 문서나 코드베이스를 대상으로 많은 질문들이 나오는 것들이죠.
  • 고정된 명령어 블록과 예제를 이용한 검색 증강 생성.
  • 하나의 공유 시스템 프롬프트로 여러 요청을 보내는 파이프라인.

모든 프롬프트가 첫 토큰과 다를 때 캐싱은 별 효과가 없습니다. 비용 측면에 대해서는 다음을 참조하세요 토큰 청구 방식 그리고 현재 캐시 읽기 속도를 가격표·.

EmpirioLabs AI의 프롬프트 캐싱 지원 모델

모델 36개가 입력 요금과 함께 캐시된 입력 요금을 게시하며, 각 요금표에서 실시간으로 읽어 옵니다.

모델입력캐시된 입력
GLM 4.5 Flash Z.ai무료무료
GLM 4.6V Flash Z.ai무료무료
GLM 4.7 Flash Z.ai무료무료
Qwen3.7 Flash Alibaba Cloud<=32K $0.03 32K-256K $0.10 256K-1M $0.20<=32K $0.006 32K-256K $0.02 256K-1M $0.04
GLM 4.6V FlashX Z.ai$0.04$0.036
Nova Micro 1.0 Amazon$0.040$0.0224
Qwen3.5 4B Alibaba Cloud$0.04$0.02
Gemma 4 26B-A4B Google$0.15$0.05$0.15$0.025
모델 36개 모두 보기
모델입력캐시된 입력
Nova Lite 1.0 Amazon$0.069$0.0386
GLM 4.7 FlashX Z.ai$0.07$0.063
Qwen3.6 35B A3B Alibaba Cloud$0.248$0.07$0.035
Qwen3.5 9B Alibaba Cloud$0.10$0.09$0.045
Step 3.5 Flash StepFun$0.10$0.02
Step 3.5 Flash 2603 StepFun$0.10$0.02
MiniMax M3.1 Flash MiniMax$0.15$0.1125$0.015$0.01125
Qwen3.8 27B Alibaba Cloud$0.45$0.17$0.08
DeepSeek V4.1 Flash 1017 DeepSeek$0.20$0.02
Muse Glimmer 30B Meta AI$0.35$0.20$0.05
Step 3.7 Flash StepFun$0.20$0.04
MiniMax M3 MiniMax$0.30 <=512K $0.225 $0.60 >512K $0.45$0.06 <=512K $0.045 $0.12 >512K $0.09
Nova Lite 2 Amazon$0.38$0.2128
GLM 5.1 Z.ai$1.40 <=32K $0.825 $1.40 32K-200K $1.10$0.26 <=32K $0.165 $0.26 32K-200K $0.22
Kimi K2.6 Moonshot AI$0.95$0.8939$0.1788
Step 5 Preview StepFun$1.00$0.10
Muse Spark 1.1 Meta AI$1.25$1.00
Muse Spark 1.2 Meta AI$1.25$1.00
Muse Spark 1.3 Meta AI$1.25$1.00
Qwen4 Max Alibaba Cloud$1.50$0.075
StepAudio 2.5 Chat StepFun$1.50$0.30
StepAudio 2.5 Realtime StepFun$1.50$0.30
StepAudio 3 Chat StepFun$1.50$0.30
Fugu Max Sakana AI$2.00$0.25
Kimi K3.1 Pro Moonshot AI$2.00$0.184
Fugu Ultra v1.1 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v2.0 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v1.0 Sakana AI<=272K $7.50 >272K $15.00<=272K $1.50 >272K $3.00

자주 묻는 질문

프롬프트 캐싱을 켜야 하나요?

아니요. 이를 지원하는 모델에서는 반복되는 프롬프트 접두사에 자동으로 캐싱이 적용됩니다. 변경되지 않는 프롬프트 부분을 처음에 넣어 최대한 활용하세요.

캐시된 입력값은 얼마인가요?

캐시된 입력 토큰은 모델의 캐시 읽기 속도로 청구되며, 이는 일반적인 입력 속도보다 낮습니다. 캐싱을 지원하는 각 모델은 캐시 읽기 가격을 표시합니다.

프롬프트 캐싱이 모델의 답변을 바꾸나요?

아니요. 캐싱은 입력이 어떻게 처리되고 청구되는지에 영향을 줍니다. 모델은 평소와 같은 방식으로 출력을 생성합니다.

내 요청이 캐시를 사용하는지 어떻게 확인할 수 있나요?

각 응답의 usage 객체는 캐싱이 적용될 때 캐시된 입력 토큰을 보고합니다. Account Usage API는 또한 모든 모델 또는 한 모델에 대해 어느 시간대에 대해서든 캐시 적중률을 반환합니다.

더 나은 엔드포인트를 사용할 준비가 되셨나요?

저희 가격을 확인하시거나 저희 스택에 자체 모델을 배포하고 싶으시면 연락해 주세요.