リアルタイム音声APIとは何ですか?

リアルタイム音声APIは、1つのWebSocket接続上でライブの双方向音声セッションを保持します。アプリはマイク音声をモデルにストリーミングし、モデルが届くと音声応答を再生します。ユーザーはいつでも返信を中断でき、同じエンドポイントがライブ文字起こしも提供します。

モデルの種類

リアルタイム音声APIとは何か

ほとんどのAI APIはリクエストとレスポンスのパターンに従います:完全な入力を送り、完全な出力を待つ。リアルタイムの音声APIは、代わりに接続を開いたままにします。音声はWebSocketを通じて両方向に同時に流れ、アプリケーションはユーザーのマイクをモデルにストリーミングし、モデルの音声応答が返ってくる。どちらの側でもいつでも話すことができるので、ユーザーはモデルの返信の途中で中断できます。

接続するモデルが、どのようなセッションが受けられるかを決めます:

  • スピーチ・トゥ・スピーチ。 モデルが自分の声で耳を傾け、答えてくれる会話。
  • ライブトランスクリプション。 話し手が話している間にテキストが返ってきた。
  • 音声翻訳。 モデルはターゲット言語でテキストと音声を組み合わせて答えます。
  • テキスト読み上げ。 テキストをストリーミングで送り込み、テキストが届いている間に音声が戻ってきます。

リアルタイムセッションの仕組み

WebSocket を開いて WSS://api.empiriolabs.ai/v1/realtime?model=MODEL_ID そして、APIキーで認証してください。 認可 ハンドシェイクのヘッダー。セッションが始まると、音声、指示、ターン検出モードを設定し、音声を小さなチャンクに分けてストリーミングします。モデルは再生用の音声チャンク、話した内容の書き起こし、各ターン終了を示すイベントを送り返します。

ターン検出はモデルが応答するタイミングを決定します。サーバー側の音声アクティビティ検出では、モデルはスピーカーが停止したことを感知し、自ら応答し、返信中に話すことでそれを中断します。ターン検出がオフの場合、アプリケーションは各ターンを終了し、返信を求めます。多くのspeech-to-speechモデルは会話中に宣言した関数を呼び出すことができ、ライブビデオフレームを受け付けたりウェブ検索をしたりするものもあります。

ブラウザコードは決してAPIキーを保持してはいけないので、ウェブページはサーバーが作成した短時間のクライアントシークレットと接続します ポスト/v1/realtime/client_secrets.エンドポイントはOpenAIリアルタイムプロトコルに準拠しているため、OpenAI SDKはこれに接続できます。

リアルタイム音声が何に使われるか

  • ボイスエージェント。 サポート、予約、受付ラインの対応で質問に答え、各部門に電話して注文の確認や予約の調整を行います。
  • アプリ内アシスタント。 製品やデバイス内部のハンズフリーサポート。
  • 家庭教師と語学練習。 学習者が話している間に応答する音声レッスン。
  • ライブ字幕付き。 会議や配信、イベントで人が話している間にテキストを送る。
  • 解釈。 会話中にターゲット言語に翻訳された音声。

モデルの選択と請求の仕組み

応答遅延、音声と言語、モデルが中断や背景雑音をどのように処理するか、関数呼び出し、ビデオ入力、またはウェブ検索に対応しているかどうかを比較します。その後、各モデルページの課金単位を確認してください。音声読み上げモデルは、完了したターンごとに使用したトークンから請求し、音声トークンとテキストトークンを別々に請求するケースも多くあります。そのため、同じ長さの音声ターンとタイピングターンは異なる料金がかかります。1分単位で価格設定されたモデルは、代わりにセッションの長さを請求します。ライブ文字起こしは送信する音声の長さ、または一部のモデルではトークン単位で請求されます。

EmpirioLabs AIでリアルタイムモデルを試してみてください

開く Playground、リアルタイムモデルを選択し、音声を選択して話し始めます。自分専用のクライアントを構築するには、ダッシュボードでAPIキーを作成し、 リアルタイム音声APIガイド、すべてのリアルタイムモデルとその言語や音声、イベント、そして完全な例を一覧表示します。リアルタイムモデルは以下の中から現れます。 オーディオモデル そして、 転写モデルお問い合わせ.

使った分だけ支払うか、週ごとの手当があるプランを選びましょう。現在の料金は プライシングページお問い合わせ.

EmpirioLabs AI のモデル

20 個のモデル。課金単位が同じものは安い順に並べています。各モデルのページに料金表の全体、パラメーター、コードがあります。

エンドポイント

POST /v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voices

音声の1分または1時間あたりの料金

モデル最低料金適用対象
StepAudio 2.5 ASR Stream StepFun$0.40 音声の時間あたり転写
Qwen Audio 3.0 ASR Stream Alibaba Cloud$0.648 音声の時間あたり転写
Deepgram Nova-3 Stream Deepgram$0.025 音声の1分あたり転写
OpenAI Whisper 1 OpenAI$0.030 毎分音声1分あたり

その他のモデル: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash

よくある質問

リアルタイム音声APIとtext-to-speech APIの違いは何ですか?

text-to-speech APIはテキストを1つのリクエストごとに音声に変換します。リアルタイムの音声APIは双方向接続を開いた状態に保ち、モデルは1セッション内で聞き、音声で応答し、中断することができます。

なぜリアルタイム音声APIはWebSocketを使うのですか?

WebSocket は、1 つの接続を通じて両方向に同時にデータを運ぶため、マイクの音声はモデルに流れ、その応答が返ってくる。ストリームされた HTTP レスポンスは出力のみを運ぶ。

AIが話している最中に、ユーザーはそれを遮ることができますか?

はい。サーバー側の音声活動検出では、モデルが応答している間に話すと中断され、モデルは新しい入力に応答します。

リアルタイムのボイスセッションはどのように請求されますか?

音声音声モデルは、完了したターンごとにトークン、つまり分単位の料金モデルではセッションの長さで請求します。ライブ文字起こしの請求は、送信された音声の長さ、または一部のモデルではトークン単位で請求されます。EmpirioLabs AIでは、使用量に応じて支払うか、週ごとの手当付きのプランを選択できます。

ブラウザからリアルタイムの音声APIに接続できますか?

はい。サーバーはあなたのAPIキーで短時間のクライアントシークレットを作成し、ウェブページはそのシークレットでWebSocketを開くため、APIキーはブラウザーに届きません。

より良いエンドポイントを使う準備はできていますか?

ご自身のモデルを当社のスタックに展開したい方は、ぜひご価格をご覧ください。