什么是实时语音API?

实时语音 API 通过一个 WebSocket 连接进行实时双向音频会话:你的应用将麦克风音频流传到模型,并在其语音回复到达时播放。用户可以随时中断回复,同一端点也提供实时转录。

模型类型

什么是实时语音 API

大多数 AI API 遵循请求与响应模式:你发送完整的输入,等待完整的输出。实时语音 API 则保持连接畅通。音频通过 WebSocket 双向传输,因此你的应用可以将用户的麦克风流向模型,模型的语音回复则回传。任一方随时都可以说话,因此用户可以在模型回复中途中断。

你连接的模型决定你得到的会话类型:

  • 语音对语音。 与一个用自己的声音倾听并回答的模型进行口头对话。
  • 现场转录。 短信在说话者还在说话时传来。
  • 语音翻译。 模型会用目标语言回答,并配有文本和音频。
  • 文字转语音。 你把文本流式输入,语音在文本到达时就会恢复。

实时会话的工作原理

您打开一个 WebSocket 以 WSS://api.empiriolabs.ai/v1/RealTime?model=MODEL_ID 并使用您的 API 密钥进行身份验证 授权 握手的标题。会话开始后,你设置语音、指令和转向检测模式,然后将音频分成小块播放。模型会回传音频片段播放、所说内容的文字记录,以及标志每回合结束的事件。

轮换检测决定模型何时接应。在服务器端语音活动检测中,模型会注意到说话者停止并自行回应,而在回复过程中说话会中断其回复。关闭开关检测后,您的应用程序每回合结束并请求回复。许多speech-to-speech模型还可以调用您在对话中声明的功能,有些则接受实时视频帧或搜索网页。

浏览器代码绝不能保存你的 API 密钥,因此网页会通过服务器创建的短暂客户端密钥进行连接 /v1/realtime/client_secrets后.该终端遵循 OpenAI 实时协议,因此 OpenAI SDK 可以连接到它。

实时语音的用途

  • 语音代理。 支持、预约和接待热线,回答问题,并拨电各部门查询订单或预约。
  • 应用内助手。 产品或设备内部的免提帮助。
  • 辅导和语言练习。 口头课程在学习者说话时会有所回应。
  • 实时字幕。 会议、直播和活动中,人们聊天时的短信。
  • 解读。 在对话中被翻译成目标语言的语音。

选择模型及计费方式

比较响应延迟、语音和语言、模型如何处理中断和背景噪音,以及是否支持函数调用、视频输入或网页搜索。然后检查每个模型页面上的计费单位。语音转语音模型会根据所用代币按完成的回合计费,许多模型会分别计费音频和文本代币,因此同长的口语回合和打字回合的成本不同。按分钟计费的模型则按会话长度计费。实时转录按你发送的音频时长计费,某些模型则按代币计费。

试试在EmpirioLabs AI上做实时模型

打开 Playground,选择一个实时模型,选择一个声音并开始说话。要构建您自己的客户端,请在仪表板中创建一个 API 密钥并按照 实时语音 API 指南,列出了每个实时模型及其语言和声音、事件以及完整示例。实时模型出现在 音频型号 页:1 转录模型。 。 。.

按需付费,或选择带有每周津贴的计划。当前费率详见 定价页面。 。 。.

EmpirioLabs AI 上的模型

共 20 个模型;计费单位相同的按价格从低到高排列。每个模型的页面都有完整价目表、参数和代码。

端点

POST /v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voices

按音频分钟或小时计价

模型最低费率适用于
StepAudio 2.5 ASR Stream StepFun$0.40 每小时音频转录
Qwen Audio 3.0 ASR Stream Alibaba Cloud$0.648 每小时音频转录
Deepgram Nova-3 Stream Deepgram$0.025 每分钟音频转录
OpenAI Whisper 1 OpenAI$0.030 每分钟每分钟音频

另有: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash

常见问题

实时语音 API 和 text-to-speech API 有什么区别?

text-to-speech API 将文本一次一个请求转化为音频。实时语音 API 保持双向连接,使模型能够在一次会话内倾听、语音回答并被打断。

为什么实时语音 API 会使用 WebSocket?

WebSocket 通过一个连接同时双向传输数据,因此麦克风音频可以流到模型,而模型的回复则回流。流式 HTTP 响应只传输输出。

用户能在 AI 说话时打断它吗?

是的。在服务器端语音活动检测中,模型在回复时说话会中断,模型会对新输入做出回应。

实时语音会话是如何计费的?

语音转语音模型按完成回合的代币计费,或按每分钟计费的会话时长。实时转录账单按音频发送时长计费,某些型号则按代币计费。EmpirioLabs AI 上,您可以按使用量付费,或选择带有每周余额的套餐。

我可以从浏览器连接到实时语音 API(语音 API)吗?

是的。你的服务器会用你的 API 密钥创建一个短命客户端密钥,网页会用该密钥打开 WebSocket,所以 API 密钥永远不会到达浏览器。

准备好使用更好的终端了吗?

查看我们的定价,或者如果你想将自己的模型部署到我们的堆栈中,请联系我们。