埋め込みAPIとは何ですか?

埋め込みAPIはテキストや一部のモデルでは画像や動画を、類似した意味を近接した数値のベクトルに変換します。最良のマッチを再評価するリランカーにより、セマンティックサーチおよび検索拡張生成の検索ステップを形成します。

モデルの種類

埋め込みとは何か

埋め込みとは、入力の意味を表すベクトルと呼ばれる数値のリストです。埋め込みモデルはテキストを読み取り、固定の長さのベクトルを返します。似た意味を持つ入力は、単語を共有しなくても似た方向を指すベクトルを生成します: パスワードをリセット および アカウントにサインインできません 近くにいる 請求先住所を更新する 結局、もっと遠くへ行ってしまう。

2つのベクトルを類似度指標、つまり最もよくはコサイン類似度で比較します。スコアが高いほど、入力の意味が近いことを意味します。この1つの操作は、セマンティックサーチ、言語モデルの検索、クラスタリング、重複検出、推奨、そして最も近い例による分類をサポートします。

埋め込みAPIの仕組み

送信EmpirioLabs AI モデル および 入力 から /v1/embeddings後.入力は文字列または文字列のリストであり、応答は入力ごとにベクトルを1つ保持します。 データ、さらに a 使用例 トークンが課金されたオブジェクト。埋め込みモデルは入力トークンのみを請求します。なぜなら、入力トークンはテキストを生成しないためです。

  • ベクターサイズ。 複数のサイズを提供するモデルでは、 寸法 各ベクターの長さを設定します。大きなベクターほど詳細が保持されます。小さいベクトルは保存や検索にかかるコストが少なくなります。
  • エンコーディング。 encoding_format ベクトルを次のように返します 浮遊 配列またはコンパクトとして base64 ストリングス。
  • 画像と動画。 マルチモーダル埋め込みモデルはまた サイトマップ および ビデオ テキストクエリが一致する画像を取得できるようにするための部品です。
  • 検索オプション。 一部のモデルはスパースベクトルを返します output_type、そして 指示する これはクエリを埋め込む際の検索タスクについて説明しています。

結果を意味のあるものに保つには2つのルールがあります。異なるモデルのベクトルは比較できないため、同じモデルかつ同じベクターサイズの文書やクエリを埋め込む。長い文書をモデルの最大入力長さに合うパッセージに分割し、それぞれのベクトルを元のパッセージと一緒に保存します。その embeddings API リファレンス すべてのフィールドを一覧表示します。

リランクがもたらすもの

ベクター検索は高速です。なぜなら、各文書が事前に一度だけ埋め込まれており、クエリには新しいベクターが1つだけ必要だからです。トレードオフは精度です。クエリと各文書は別々にエンコードされるため、最も近いベクターが最終順位ではなく良いショートリストになります。

リランカーはクエリと各候補者をまとめて読み、その候補者がどれだけうまくクエリに答えたかを評価します。その比較の方がより正確で、ドキュメントあたりの作業もかかるため、コレクション全体ではなく、ベクター検索の上位50件のようなショートリストで実行します。

EmpirioLabs AIに クエリ および以下の一覧 文書 から /v1/reranks後.応答には各文書の原本が記載されています 索引 with a relevance_score 0から1まで、最も関連性の高いものが先です。セット top_n 最良の少数だけを返すこと、そして return_documents テキストを含めるために。スコアは1つのリクエストに基づいているため、異なるクエリ間の固定されたカットオフとしてではなく、結果の順序付けに用いてください。以下を参照してください 再ランクAPI リファレンス 完全なリクエストについて。

検索拡張生成における埋め込みと再ランク付け

検索拡張生成(RAG)は、言語モデルのプロンプトに最も関連性の高い文章を配置することで、自作のコンテンツから質問に答えます。埋め込みとリランクが検索ステップを構成します:

  1. ドキュメントを文章に分割し、それぞれを埋め込み、ベクターをベクターインデックスに保存します。
  2. 問題が届いたら、同じモデルに埋め込み、最も近い箇所を取得してください。
  3. 候補者たちはリランクに送り、スコアの高い少数だけを残しましょう。
  4. 質問とその一節を テキストモデル、彼らから答える。

ランク付けの再調整により、プロンプトは短く、かつ適切な内容に保たれます。より少ない、より良いパッセージほど入力トークンの使用量が減り、より多くの コンテキストウィンドウ 答えのために。閲覧 モデルの埋め込み および リランク、または両方を試してみる Playgroundお問い合わせ.

EmpirioLabs AI の 埋め込み モデル

4 個のモデル。課金単位が同じものは安い順に並べています。各モデルのページに料金表の全体、パラメーター、コードがあります。

エンドポイント

POST /v1/embeddings

100万トークンあたり、入力料金順

モデル入力出力
Text Embedding v4 Alibaba Cloud$0.07-
Tongyi Embedding Vision Flash Alibaba Cloud$0.09-
Tongyi Embedding Vision Plus Alibaba Cloud$0.09-
Skylark Embedding Vision ByteDance$0.25-

EmpirioLabs AI の リランカー モデル

1 個のモデル。各モデルのページに料金表、パラメーター、コードがあります。

エンドポイント

POST /v1/reranks

よくある質問

埋め込みモデルとリランクモデルの違いは何ですか?

埋め込みモデルは各入力を単独でベクトルに変換するため、クエリを大規模なコレクションと素早く比較できます。リランクはクエリと候補ドキュメントを一緒に読み、その関連性をより正確にスコアリングするため、短い結果リストに用いられます。

異なる2つのモデルの埋め込みを比較できますか?

いいえ。各モデルはそれぞれ独自のベクトル空間に意味を配置しているので、ドキュメントやクエリを同じモデルとベクトルサイズで埋め込みましょう。

埋め込みやランク変更のリクエストはどのように請求されますか?

埋め込みモデルやリランクモデルは、送信した入力トークンに対して課金を課金します。テキストは生成されないので、課金すべき出力トークンはありません。

再ランク付け関連性スコアとは何を意味するのでしょうか?

これは 0 から 1 までの数字で、1 つのクエリについて文書を順位付けするもので、高いほどより関連性の高いものを示します。スコアはリクエスト間で比較できないため、リクエスト内の結果を並べる際にスコアを用いてください。

埋め込みは画像や動画を検索できますか?

はい、マルチモーダル埋め込みモデルの場合です。テキスト、画像、動画の入力を受け付けるため、テキストクエリで一致する画像やクリップを検索できます。

EmpirioLabs AI で最も安い 埋め込み モデルはどれですか?

この方式で課金される 4 個の 埋め込み モデルのうち、入力料金が最も低いのは Text Embedding v4 で、次に Tongyi Embedding Vision Flash, Tongyi Embedding Vision Plus が続きます。このページの料金表に、各モデルの最低料金と適用対象を掲載しています。

より良いエンドポイントを使う準備はできていますか?

ご自身のモデルを当社のスタックに展開したい方は、ぜひご価格をご覧ください。