プロンプトキャッシュとは何ですか?

プロンプトキャッシュは、モデルがプロンプトの冒頭部分を以前に処理したものを再利用します。リクエストが最近のトークンと同じトークンで開始する場合、キャッシュされたトークンは1つをリストするモデルではより低いキャッシュ読み取りレートで請求し、残りは通常の入力レートで請求します。

基本概念

プロンプトキャッシュとは何か

モデルが何かを書く前に、入力の全トークンを処理する。多くのアプリケーションは、長いシステムプロンプト、ツール定義のセット、参考文書、あるいは会話の前の段階など、すべてのリクエストに対して同じオープニングトークンを送ります。

プロンプトキャッシュは、その開く部分の処理済み結果(プレフィックスと呼ばれる)を保持します。後のリクエストがまったく同じトークンで始まる場合、モデルはキャッシュされたプレフィックスを再利用し、その後に続く新しいトークンのみを処理します。出力は通常通り生成されるため、キャッシュはモデルが何を書くかではなく、入力の請求方法を変えます。

システムプロンプトとツール定義が4,000トークンで、その後に150トークンの問題が出るアシスタントを考えてみましょう。その最初の部分がキャッシュから読み取られると、4,150個の入力トークンのうち約4,000個がキャッシュの読み取りレートで請求され、問題だけがフル入力レートで請求されます。

なぜプレフィックスが完全に一致しなければならないのか

キャッシュマッチは最初のトークンから始まり、最初の差点で終了します。プロンプトの冒頭近くでタイムスタンプ、ユーザー名、システムプロンプト内のリクエストIDなどの文字が変更されたとしても、キャッシュから読み取れた後は何の意味も持たなくなります。キャッシュヒット率を上げるには:

  • 安定したコンテンツを最優先にしましょう。 説明書、工具定義、例文、長い参考資料は最初に入れます。ユーザーの質問、取得した文章、その他変更点は最後に置きます。
  • 安定部分は同じままに保ちましょう。 ツールと例は同じ順序で、同じ文言とすべてのリクエストの空白を使いましょう。
  • 編集ではなく追加してください。 会話では、新しいターンは最後に追加し、前のターンは変更せずに、すべてのリクエストが前のターンを延長するようにしましょう。

一致するプレフィックスはキャッシュが読み取り可能性が高いことを示すので、ヒット率を決めるのではなく測定してください。

キャッシュ入力はEmpirioLabs AIでどのように請求されるか

キャッシュは自動です。キャッシュを作成する必要も、マーカーを追加する必要もありません。キャッシュに対応しているモデルでは、繰り返しのプレフィックスが自動的にキャッシュされます。

  • どのモデルか。 モデルはキャッシュ読み取り価格を表示した場合、プロンプトキャッシュをサポートしています。このページに掲載されているモデルには、その機能があります。
  • 請求。 キャッシュされた入力トークンは、モデルの通常の入力レートよりも低いキャッシュ読み取りレートで請求します。キャッシュされていない入力およびすべての出力トークンは通常の料金で請求されます。
  • カタログAPI内で。 早く/v1/models レートは次のように報告されます input_cache_read において 価格設定.キャッシュ割引がないモデルでは、通常の入力レートと等しいです。
  • それぞれの返信で。 キャッシュが適用される場合、 使用例 例えば、キャッシュされたトークンを報告します cache_read_input_tokens オン お問い合わせ および input_tokens_details.cached_tokens オン お問い合わせお問い合わせ.
  • 時間をかけて。 その アカウント使用API 返品 cache_hit_rate、キャッシュから時間枠内で提供される入力トークンの割合、すべてのモデル間、または1つのモデルに対して。

キャッシュされたトークンも入力のままなので、それらも コンテキストウィンドウ 他のトークンと同じように。

キャッシュが最も役立つ場所

  • 会話が進むたびに再送信するチャットアプリやエージェント。
  • 同じ長いドキュメントやコードベースに対して多くの質問が投げかけられます。
  • 固定された命令と例のブロックによる検索拡張生成。
  • 共有されたシステムプロンプトで多数のリクエストを送信するパイプライン。

すべてのプロンプトが最初のトークンと異なる場合、キャッシュはほとんど効果を発揮しません。コスト面については、 トークンの請求方法 および現在のキャッシュ読み取りレート プライシングページお問い合わせ.

EmpirioLabs AI のプロンプトキャッシュ対応モデル

36 個のモデルが、入力料金とあわせてキャッシュ済み入力の料金を掲載しています。各料金表からリアルタイムで読み取っています。

モデル入力キャッシュ済み入力
GLM 4.5 Flash Z.ai無料無料
GLM 4.6V Flash Z.ai無料無料
GLM 4.7 Flash Z.ai無料無料
Qwen3.7 Flash Alibaba Cloud<=32K $0.03 32K-256K $0.10 256K-1M $0.20<=32K $0.006 32K-256K $0.02 256K-1M $0.04
GLM 4.6V FlashX Z.ai$0.04$0.036
Nova Micro 1.0 Amazon$0.040$0.0224
Qwen3.5 4B Alibaba Cloud$0.04$0.02
Gemma 4 26B-A4B Google$0.15$0.05$0.15$0.025
36 個のモデルをすべて表示
モデル入力キャッシュ済み入力
Nova Lite 1.0 Amazon$0.069$0.0386
GLM 4.7 FlashX Z.ai$0.07$0.063
Qwen3.6 35B A3B Alibaba Cloud$0.248$0.07$0.035
Qwen3.5 9B Alibaba Cloud$0.10$0.09$0.045
Step 3.5 Flash StepFun$0.10$0.02
Step 3.5 Flash 2603 StepFun$0.10$0.02
MiniMax M3.1 Flash MiniMax$0.15$0.1125$0.015$0.01125
Qwen3.8 27B Alibaba Cloud$0.45$0.17$0.08
DeepSeek V4.1 Flash 1017 DeepSeek$0.20$0.02
Muse Glimmer 30B Meta AI$0.35$0.20$0.05
Step 3.7 Flash StepFun$0.20$0.04
MiniMax M3 MiniMax$0.30 <=512K $0.225 $0.60 >512K $0.45$0.06 <=512K $0.045 $0.12 >512K $0.09
Nova Lite 2 Amazon$0.38$0.2128
GLM 5.1 Z.ai$1.40 <=32K $0.825 $1.40 32K-200K $1.10$0.26 <=32K $0.165 $0.26 32K-200K $0.22
Kimi K2.6 Moonshot AI$0.95$0.8939$0.1788
Step 5 Preview StepFun$1.00$0.10
Muse Spark 1.1 Meta AI$1.25$1.00
Muse Spark 1.2 Meta AI$1.25$1.00
Muse Spark 1.3 Meta AI$1.25$1.00
Qwen4 Max Alibaba Cloud$1.50$0.075
StepAudio 2.5 Chat StepFun$1.50$0.30
StepAudio 2.5 Realtime StepFun$1.50$0.30
StepAudio 3 Chat StepFun$1.50$0.30
Fugu Max Sakana AI$2.00$0.25
Kimi K3.1 Pro Moonshot AI$2.00$0.184
Fugu Ultra v1.1 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v2.0 Sakana AI<=272K $5.00 >272K $10.00<=272K $0.50 >272K $1.00
Fugu Ultra v1.0 Sakana AI<=272K $7.50 >272K $15.00<=272K $1.50 >272K $3.00

よくある質問

プロンプトキャッシュをオンにする必要がありますか?

いいえ。それに対応しているモデルでは、繰り返し現れるプロンプトプレフィックスには自動的にキャッシュが適用されます。変更されない部分を最初に配置して最大限活用しましょう。

キャッシュ入力のコストはいくらですか?

キャッシュされた入力トークンは、通常の入力レートよりも低いモデルのキャッシュ読み取りレートで請求されます。キャッシュ対応の各モデルには、そのキャッシュ読み取り価格が記載されています。

プロンプトキャッシュはモデルの回答を変えますか?

いいえ。キャッシュは入力の処理や請求方法に影響を与えます。モデルは通常どおり出力を生成します。

リクエストがキャッシュを使用しているかどうかはどうやって確認できますか?

各レスポンス内の usage オブジェクトは、キャッシュ適用時にキャッシュされた入力トークンを報告します。アカウント使用APIは、任意の時間ウィンドウ、すべてのモデル、または1つの時間ウィンドウでのキャッシュヒット率も返します。

より良いエンドポイントを使う準備はできていますか?

ご自身のモデルを当社のスタックに展開したい方は、ぜひご価格をご覧ください。