
语音输入输出,通过一个插槽进行,在更大的 Omni 层中实现,文本和音频令牌费率以及每回合计费。
语音输入输出,通过一个插槽进行,在更大的 Omni 层中实现,文本和音频令牌费率以及每回合计费。
会话通过套接字的 session.update 事件配置,而非请求参数。文本和音频令牌按不同的费率计费,口头回复仅计费其音频令牌。
也称为 Qwen3.5 Omni Realtime, Alibaba Cloud Qwen3.5 Omni Plus Realtime
qwen3-5-omni-plus-realtime/v1/realtimeqwen3.5-omni-plus-realtimealibaba/qwen3-5-omni-plus-realtime来自 EmpirioLabs 目录的实时按量计费价格。也可以选择包含每周用量额度的套餐。
Qwen3.5 Omni Plus Realtime 通过 wss://api.empiriolabs.ai/v1/realtime?model=qwen3-5-omni-plus-realtime 的 WebSocket 进行实时对话,而不是通过 HTTP 端点。使用模型 id qwen3-5-omni-plus-realtime 连接,并在握手时将 EmpirioLabs API 密钥作为 Authorization: Bearer 请求头发送。音频以 base64 编码的 16 位 PCM 双向传输。 浏览器无法为 WebSocket 设置请求头,请从你的服务器发起该连接,再通过你自己的 socket 把音频转发给浏览器。 在EmpirioLabs 控制台获取 API 密钥。
import asyncio, json, os, websockets
async def main():
async with websockets.connect(
"wss://api.empiriolabs.ai/v1/realtime?model=qwen3-5-omni-plus-realtime",
additional_headers=[
("Authorization", f"Bearer {os.environ['EMPIRIOLABS_API_KEY']}"),
],
max_size=None,
) as ws:
print(json.loads(await ws.recv())["type"]) # session.created
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{"type": "input_text", "text": "Say hello."}],
},
}))
await ws.send(json.dumps({"type": "response.create"}))
async for raw in ws:
event = json.loads(raw)
if event["type"] == "response.audio.delta":
... # base64 audio chunk, append to your playback buffer
elif event["type"] == "response.done":
break
asyncio.run(main())EmpirioLabs 上 Qwen3.5 Omni Plus Realtime API 支持的请求参数。省略字段时使用默认值。
| 参数 | 类型 | 默认值 | 范围 / 值 | 描述 |
|---|---|---|---|---|
| voice | enum | Tina | Tina, Serena, Ethan, Dylan, Sunny, Peter, Kiki, Eric | 会话的语音。在模型产生任何音频之前,用session.update设置好。 |
| instructions | string | - | - | 系统指导模型在对话中应如何行为和表达。 |
| modalities | string | ["text","audio"] | - | 模型会返回哪种输出类型,持续一回合。去掉“audio”,只显示文本回复。 |
| input_audio_format | enum | pcm | pcm | 你附加到输入缓冲区的音频编码:base64 16位PCM,频率为16 kHz。在该协议的测试版中,将 session.audio.input.format 设置为第一个音频前,输入 pcm 或 wav,sample_rate 8000、16000、24000 或 48000。 |
| output_audio_format | enum | pcm | pcm | 该型号回流的音频编码:base64 16位 PCM,频率为 24 kHz。在该协议的测试版中,将 session.audio.output.format 设置为第一个音频的 pcm 或 wav,sample_rate 8000、16000、24000 或 48000。 |
| turn_detection | string | {"type":"server_vad"} | - | 语音活动检测:决定你说完话后模型应回复。默认开启,server_vad,暂停后结束回合。semantic_vad还会判断你是否说完话,所以填充音和背景噪音不会结束你的回合。阈值是 -1 到 1 的数字,默认为 0.5;数值越高,需要更清晰、更响亮的语音才能计数。silence_duration_ms,默认为 200 到 6000... |
| max_response_output_tokens | number | - | 1 到 65536 | 一个回复可能使用的最大输出令牌数:从1到65536,其中更大的数值在65536处,或“inf”表示模型自身的极限。也被接受为max_output_tokens。若省略,则适用模型自身的默认值。 |
| temperature | number | - | 0 到 1.99 | 采样温度。0是确定性的,1.99是最大随机性。如果省略,则适用模型自身的默认值。 |
| top_p | number | - | 0.01 到 1 | 核抽样概率质量。值越低,输出越聚焦。省略时,模型自身默认值生效。 |
| top_k | integer | - | 1 到 100 | 仅从K个最可能的token中抽样。若省略,则适用模型自身的默认值。 |
| repetition_penalty | number | - | 0.1 到 2 | 值越高,越不鼓励重复表达,1 则不施加惩罚。若省略,则适用模型自身的默认值。 |
| presence_penalty | number | - | -2 到 2 | 对已出现在生成文本中的标记施加惩罚。正值鼓励新的主题。若省略,则适用模型自身的默认值。 |
| seed | integer | - | 0 到 2147483647 | 随机种子以实现更可重复的采样。重用相同请求的种子返回的输出相似,但不总是相同。 |
通过 wss@api.empiriolabs.ai/v1/realtime?model=qwen3-5-omni-plus-realtime 的 WebSocket 进行全双工语音传输,并用普通授权承载头进行认证。通过套接字配置会话 session.update:语音、指令、模态、转向检测、采样和回复长度限制等max_response_output_tokens。在第一个音频后,将相机或视频帧以 JPEG 图像形式发送,并附input_image_buffer.append。对于 WAV 或其他采样率的测试版协议,请在第一个音频之前设置 session.audio.input.format 和 session.audio.output.format。该型号的语音与早期的 Omni 世代不同,因此设置一个它接受或保持默认;未知语音会结束会话,而不是返回错误。文本和音频代币分别定价,口头回复仅计入音频输出代币,每个完成回合根据模型报告的使用量单独计费。
在 EmpirioLabs,Qwen3.5 Omni Plus Realtime 按量计费:输入:音频 $33.00 每 1M 音频输入令牌; 输入 $4.20 每100万个提示词标记; 输出 $24.80 每1M个生成的代币,只有文本回复; 输出:音频 $124.00 每1M生成的音频标记。也可以选择包含每周用量额度的套餐。本页的实时价格表始终与 API 的实际计费一致。
Qwen3.5 Omni Plus Realtime 接受 音频, 文本, 图像, 视频 作为输入,并返回 音频, 文本。
Qwen3.5 Omni Plus Realtime 支持 192K token 的上下文窗口,每次响应最多 65,536 个输出 token。
Qwen3.5 Omni Plus Realtime 通过 api.empiriolabs.ai 上的 WEBSOCKET /v1/realtime 提供,使用标准的 Bearer 令牌认证。
在请求中将 qwen3-5-omni-plus-realtime 作为 model 发送。备用 ID qwen3.5-omni-plus-realtime, alibaba/qwen3-5-omni-plus-realtime 同样可用。
EmpirioLabs 上的 Qwen3.5 Omni Plus Realtime 从 Singapore 提供服务。
打开EmpirioLabs Playground并点击 Start session,即可在浏览器中试用。Qwen3.5 Omni Plus Realtime 运行在 WebSocket 上,而不是一次请求一次响应,因此接入时请从实时语音快速入门开始。用 EmpirioLabs API 密钥和模型 id qwen3-5-omni-plus-realtime 从你的服务器连接,然后双向流式传输音频。
创建 EmpirioLabs 账户,然后在控制台的 API Keys生成密钥。计费使用按量付费的额度,只为实际发出的请求付费。也可以选择包含每周用量额度的套餐。