AIモデルにおけるトークンとは何ですか?

トークンとは、言語モデルが読み書きする単位のことです。単語、単語の断片、数字、句読点などです。テキストモデルは入力トークンと出力トークンを100万トークンごとに別々の料金で請求するのに対し、多くのメディアや検索モデルは画像、2、文字、分、またはリクエストごとに請求します。

基本概念

テキストがトークンになる仕組み

言語モデルは文字や単語を直接読み取るわけではありません。トーンキーナイザーはまず固定語彙からテキストを分割し、それぞれの部分を数字に対応させます。モデルはそれらの数字を読み書きします。一般的な単語は通常単一のトークンで構成され、長く稀少な単語は複数の部分に分割されます。その後に続く単語にはスペースが付随し、句読点はそれ自体がトークンとなることが多いです。

おおよそのあたりで、1トークンは英語テキストの約4文字、つまり単語の約4分の3に相当します。つまり、1,000語はおよそ1,300トークンに相当します。コードや数字、その他多くの言語は、同じ量のテキストに対してより多くのトークンを使用します。各モデルファミリーには独自のトークナイザーがあるため、同じプロンプトでもモデルごとに異なるカウントが生成されることがあります。 使用例 すべてのレスポンスでオブジェクトは、使用したモデルの正確なカウントを報告します。

画像、音声、動画を受け入れるモデルは、それらの入力もトークンに変換し、そのトークンに独自のレートで価格を設定しています。

入力トークンと出力トークン

入力トークンとは、あなたが送るすべてのもの、つまりシステムプロンプト、会話、ツール定義、そして添付されたコンテンツのことです。出力トークンはモデルが生成するすべてです。A の上で 推論モデル それには、モデルがテキストを返さなくても、回答の前に書く理由も含まれます。

テキストモデルは両者を別々に価格設定し、出力トークンは通常入力トークンよりも高価です。他に2つの料金が適用されます:キャッシュされた入力請求書を、以下のモデルで低料金で処理する プロンプトキャッシュ、そして一部のモデルは入力が一定の長さを超えるとより高いレートを課す。

各応答は使用した内容を報告します。チャット完了数の返事 prompt_tokens, completion_tokens および total_tokens、および cost_usd リクエストに対して請求される金額を示します。入力を送る前に見積もるには、 /v1/messages/count_tokens後 カウントを返し、請求されません。

なぜ価格は100万トークンごとに提示されるのか

1つのトークンは非常にコストが低いため、100万トークンごとにテキストレートを提示し、数値を読みやすく比較しやすく保ちます。リクエストのコストを推定するには、入力トークンを1,000,000で割り、入力レートを掛け、出力トークンを出力レートで掛け、さらに2を足します。アプリケーションの場合は、その数値に予想されるリクエスト数を掛けます。

機械読み取り可能な 価格設定 オブジェクト on 早く/v1/models コスト計算コードに対して、単一トークンあたりの文字列と同じレートを示します。

他のユニットで請求するモデル

すべてのモデルがトークン単位で請求するわけではありません。ユニットはモデルが生成または処理するものに従っています。

  • 画像生成: 画像ごと。
  • 動画生成: 動画1秒あたり、または動画1本あたり。
  • 音声および音声生成: 入力テキストの文字数、音声の1秒あたり、またはトークン単位で。
  • 書き起こし: 音声の1分または1時間あたり、または音声トークン単位で。
  • 検索と調査: 検索、リクエスト、タスクごとに、場合によってはトークンが上に加わることもあります。
  • 3D生成: 要望に応じて。

カタログ全体で使用されている単位はこのページに一覧表示されており、各モデルページには独自の単位が表示されます。使用量に応じて支払うか、週ごとの割り当てがあるプランを選ぶこともでき、その割り当てはテキストモデル、秒単位、動画、画像、文字起こしの分数、文字表示用のトークンなど、同じ種類の単位を使用します。参照 価格設定 そして、 モデルと価格ガイドお問い合わせ.

EmpirioLabs AI のモデルの課金方法

206 個のモデルそれぞれの主な料金の課金単位を、リアルタイムの料金表から集計しています。

課金単位モデル例
100万トークンあたり、入力料金順104GLM 5.3, GLM 5.3 Flash, GLM 5.2
1秒あたりの料金42Kling 3.0 Turbo, ACE-Step 1.5 XL, MiniMax Music 3
画像1枚あたりの料金18FLUX.2 Klein 4B, Qwen Image 3.0, Seedream 5.5
リクエストあたりの料金16TRELLIS.2 4B, Exa Answer, Exa Search
テキストの文字数に応じた料金11TTS 2, TTS 1.5 Mini, TTS 1.5 Max
音声の1分または1時間あたりの料金10Whisper Large v3 Turbo, Deepgram Nova-3, OpenAI Whisper 1
その他の単位3DeepReasoning, GPTZero, LightOnOCR-3 4B
動画1本あたりの料金2Pixverse v5, Pixverse v5.6

よくある質問

1Mトークンは何語ですか?

英語では、1M トークンはおよそ 750,000 語に相当し、1 トークンあたり約 4 文字の大概を用いる。正確な数はモデルのトークナイザーと言語によって異なります。

入力トークンと出力トークンは同じ価格ですか?

いいえ。テキストモデルは入力トークンと出力トークンを別々に価格設定しており、出力トークンのほうが通常より高価です。各モデルは両方のレートを一覧にしています。

画像や音声はトークンとしてカウントされますか?

それらを入力として受け入れるモデルでは、はい、画像、音声、動画はトークンに変換され、一部のモデルはそれらのトークンを独自のレートで設定しています。画像、動画、音声を生成するモデルは通常、画像単位、秒単位、または文字単位で課金します。

リクエストが何トークン使用したかはどうやって確認できますか?

すべてのレスポンスには、入力トークン数と出力トークン数を含む使用オブジェクトが含まれます。ダッシュボードの使用ログとアカウント使用状況APIは、各リクエストごとに同じカウントを記録します。

より良いエンドポイントを使う準備はできていますか?

ご自身のモデルを当社のスタックに展開したい方は、ぜひご価格をご覧ください。