リアルタイム音声APIは、1つのWebSocket接続上でライブの双方向音声セッションを保持します。アプリはマイク音声をモデルにストリーミングし、モデルが届くと音声応答を再生します。ユーザーはいつでも返信を中断でき、同じエンドポイントがライブ文字起こしも提供します。
ほとんどのAI APIはリクエストとレスポンスのパターンに従います:完全な入力を送り、完全な出力を待つ。リアルタイムの音声APIは、代わりに接続を開いたままにします。音声はWebSocketを通じて両方向に同時に流れ、アプリケーションはユーザーのマイクをモデルにストリーミングし、モデルの音声応答が返ってくる。どちらの側でもいつでも話すことができるので、ユーザーはモデルの返信の途中で中断できます。
接続するモデルが、どのようなセッションが受けられるかを決めます:
WebSocket を開いて WSS://api.empiriolabs.ai/v1/realtime?model=MODEL_ID そして、APIキーで認証してください。 認可 ハンドシェイクのヘッダー。セッションが始まると、音声、指示、ターン検出モードを設定し、音声を小さなチャンクに分けてストリーミングします。モデルは再生用の音声チャンク、話した内容の書き起こし、各ターン終了を示すイベントを送り返します。
ターン検出はモデルが応答するタイミングを決定します。サーバー側の音声アクティビティ検出では、モデルはスピーカーが停止したことを感知し、自ら応答し、返信中に話すことでそれを中断します。ターン検出がオフの場合、アプリケーションは各ターンを終了し、返信を求めます。多くのspeech-to-speechモデルは会話中に宣言した関数を呼び出すことができ、ライブビデオフレームを受け付けたりウェブ検索をしたりするものもあります。
ブラウザコードは決してAPIキーを保持してはいけないので、ウェブページはサーバーが作成した短時間のクライアントシークレットと接続します ポスト/v1/realtime/client_secrets.エンドポイントはOpenAIリアルタイムプロトコルに準拠しているため、OpenAI SDKはこれに接続できます。
応答遅延、音声と言語、モデルが中断や背景雑音をどのように処理するか、関数呼び出し、ビデオ入力、またはウェブ検索に対応しているかどうかを比較します。その後、各モデルページの課金単位を確認してください。音声読み上げモデルは、完了したターンごとに使用したトークンから請求し、音声トークンとテキストトークンを別々に請求するケースも多くあります。そのため、同じ長さの音声ターンとタイピングターンは異なる料金がかかります。1分単位で価格設定されたモデルは、代わりにセッションの長さを請求します。ライブ文字起こしは送信する音声の長さ、または一部のモデルではトークン単位で請求されます。
開く Playground、リアルタイムモデルを選択し、音声を選択して話し始めます。自分専用のクライアントを構築するには、ダッシュボードでAPIキーを作成し、 リアルタイム音声APIガイド、すべてのリアルタイムモデルとその言語や音声、イベント、そして完全な例を一覧表示します。リアルタイムモデルは以下の中から現れます。 オーディオモデル そして、 転写モデルお問い合わせ.
使った分だけ支払うか、週ごとの手当があるプランを選びましょう。現在の料金は プライシングページお問い合わせ.
20 個のモデル。課金単位が同じものは安い順に並べています。各モデルのページに料金表の全体、パラメーター、コードがあります。
エンドポイント
/v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voices音声の1分または1時間あたりの料金
| モデル | 最低料金 | 適用対象 |
|---|---|---|
| StepAudio 2.5 ASR Stream StepFun | $0.40 音声の時間あたり | 転写 |
| Qwen Audio 3.0 ASR Stream Alibaba Cloud | $0.648 音声の時間あたり | 転写 |
| Deepgram Nova-3 Stream Deepgram | $0.025 音声の1分あたり | 転写 |
| OpenAI Whisper 1 OpenAI | $0.030 毎分 | 音声1分あたり |
その他のモデル: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash
text-to-speech APIはテキストを1つのリクエストごとに音声に変換します。リアルタイムの音声APIは双方向接続を開いた状態に保ち、モデルは1セッション内で聞き、音声で応答し、中断することができます。
WebSocket は、1 つの接続を通じて両方向に同時にデータを運ぶため、マイクの音声はモデルに流れ、その応答が返ってくる。ストリームされた HTTP レスポンスは出力のみを運ぶ。
はい。サーバー側の音声活動検出では、モデルが応答している間に話すと中断され、モデルは新しい入力に応答します。
音声音声モデルは、完了したターンごとにトークン、つまり分単位の料金モデルではセッションの長さで請求します。ライブ文字起こしの請求は、送信された音声の長さ、または一部のモデルではトークン単位で請求されます。EmpirioLabs AIでは、使用量に応じて支払うか、週ごとの手当付きのプランを選択できます。
はい。サーバーはあなたのAPIキーで短時間のクライアントシークレットを作成し、ウェブページはそのシークレットでWebSocketを開くため、APIキーはブラウザーに届きません。