实时语音 API 通过一个 WebSocket 连接进行实时双向音频会话:你的应用将麦克风音频流传到模型,并在其语音回复到达时播放。用户可以随时中断回复,同一端点也提供实时转录。
大多数 AI API 遵循请求与响应模式:你发送完整的输入,等待完整的输出。实时语音 API 则保持连接畅通。音频通过 WebSocket 双向传输,因此你的应用可以将用户的麦克风流向模型,模型的语音回复则回传。任一方随时都可以说话,因此用户可以在模型回复中途中断。
你连接的模型决定你得到的会话类型:
您打开一个 WebSocket 以 WSS://api.empiriolabs.ai/v1/RealTime?model=MODEL_ID 并使用您的 API 密钥进行身份验证 授权 握手的标题。会话开始后,你设置语音、指令和转向检测模式,然后将音频分成小块播放。模型会回传音频片段播放、所说内容的文字记录,以及标志每回合结束的事件。
轮换检测决定模型何时接应。在服务器端语音活动检测中,模型会注意到说话者停止并自行回应,而在回复过程中说话会中断其回复。关闭开关检测后,您的应用程序每回合结束并请求回复。许多speech-to-speech模型还可以调用您在对话中声明的功能,有些则接受实时视频帧或搜索网页。
浏览器代码绝不能保存你的 API 密钥,因此网页会通过服务器创建的短暂客户端密钥进行连接 /v1/realtime/client_secrets后.该终端遵循 OpenAI 实时协议,因此 OpenAI SDK 可以连接到它。
比较响应延迟、语音和语言、模型如何处理中断和背景噪音,以及是否支持函数调用、视频输入或网页搜索。然后检查每个模型页面上的计费单位。语音转语音模型会根据所用代币按完成的回合计费,许多模型会分别计费音频和文本代币,因此同长的口语回合和打字回合的成本不同。按分钟计费的模型则按会话长度计费。实时转录按你发送的音频时长计费,某些模型则按代币计费。
打开 Playground,选择一个实时模型,选择一个声音并开始说话。要构建您自己的客户端,请在仪表板中创建一个 API 密钥并按照 实时语音 API 指南,列出了每个实时模型及其语言和声音、事件以及完整示例。实时模型出现在 音频型号 页:1 转录模型。 。 。.
按需付费,或选择带有每周津贴的计划。当前费率详见 定价页面。 。 。.
共 20 个模型;计费单位相同的按价格从低到高排列。每个模型的页面都有完整价目表、参数和代码。
端点
/v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voices按音频分钟或小时计价
| 模型 | 最低费率 | 适用于 |
|---|---|---|
| StepAudio 2.5 ASR Stream StepFun | $0.40 每小时音频 | 转录 |
| Qwen Audio 3.0 ASR Stream Alibaba Cloud | $0.648 每小时音频 | 转录 |
| Deepgram Nova-3 Stream Deepgram | $0.025 每分钟音频 | 转录 |
| OpenAI Whisper 1 OpenAI | $0.030 每分钟 | 每分钟音频 |
另有: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash
text-to-speech API 将文本一次一个请求转化为音频。实时语音 API 保持双向连接,使模型能够在一次会话内倾听、语音回答并被打断。
WebSocket 通过一个连接同时双向传输数据,因此麦克风音频可以流到模型,而模型的回复则回流。流式 HTTP 响应只传输输出。
是的。在服务器端语音活动检测中,模型在回复时说话会中断,模型会对新输入做出回应。
语音转语音模型按完成回合的代币计费,或按每分钟计费的会话时长。实时转录账单按音频发送时长计费,某些型号则按代币计费。EmpirioLabs AI 上,您可以按使用量付费,或选择带有每周余额的套餐。
是的。你的服务器会用你的 API 密钥创建一个短命客户端密钥,网页会用该密钥打开 WebSocket,所以 API 密钥永远不会到达浏览器。