
双工语音对话通过一个插槽进行,支持88个语音,原生网页搜索与工具调用协同工作,以及独立的文本和音频令牌率。
双工语音对话通过一个插槽进行,支持88个语音,原生网页搜索与工具调用协同工作,以及独立的文本和音频令牌率。
会话通过套接字的 session.update 事件配置,而非请求参数。网页搜索默认关闭,并与函数调用协同工作。文本和音频令牌按不同的费率计费,口头回复仅计费其音频令牌。
也称为 Qwen Audio Realtime Flash, Alibaba Cloud Qwen Audio 3.1 Realtime Flash
qwen-audio-3-1-realtime-flash/v1/realtimeqwen-audio-3.1-realtime-flashalibaba/qwen-audio-3-1-realtime-flash来自 EmpirioLabs 目录的实时按量计费价格。只为实际用量付费,没有月度最低消费。
Qwen Audio 3.1 Realtime Flash 通过 wss://api.empiriolabs.ai/v1/realtime?model=qwen-audio-3-1-realtime-flash 的 WebSocket 进行实时对话,而不是通过 HTTP 端点。使用模型 id qwen-audio-3-1-realtime-flash 连接,并在握手时将 EmpirioLabs API 密钥作为 Authorization: Bearer 请求头发送。音频以 base64 编码的 16 位 PCM 双向传输。 浏览器无法为 WebSocket 设置请求头,请从你的服务器发起该连接,再通过你自己的 socket 把音频转发给浏览器。 在EmpirioLabs 控制台获取 API 密钥。
import asyncio, json, os, websockets
async def main():
async with websockets.connect(
"wss://api.empiriolabs.ai/v1/realtime?model=qwen-audio-3-1-realtime-flash",
additional_headers=[
("Authorization", f"Bearer {os.environ['EMPIRIOLABS_API_KEY']}"),
],
max_size=None,
) as ws:
print(json.loads(await ws.recv())["type"]) # session.created
await ws.send(json.dumps({
"type": "conversation.item.create",
"item": {
"type": "message",
"role": "user",
"content": [{"type": "input_text", "text": "Say hello."}],
},
}))
await ws.send(json.dumps({"type": "response.create"}))
async for raw in ws:
event = json.loads(raw)
if event["type"] == "response.audio.delta":
... # base64 audio chunk, append to your playback buffer
elif event["type"] == "response.done":
break
asyncio.run(main())EmpirioLabs 上 Qwen Audio 3.1 Realtime Flash API 支持的请求参数。省略字段时使用默认值。
| 参数 | 类型 | 默认值 | 范围 / 值 | 描述 |
|---|---|---|---|---|
| voice | enum | longanqian_v3.1 | longanqian_v3.1, longanhuan_v3.1, longanlingxin_v3.1, longanf... | 会话的语音。在模型产生任何音频之前,先用 session.update 设置。这些语音是该模型特有的。 |
| instructions | string | - | - | 系统指导模型在对话中应如何行为和表达。 |
| input_language | enum | auto | auto, zh, en, ja, ko, vi, th, id, ar, fr, de, es, pt, ru, it | 你说的语言。你的演讲稿会写在里面;自动检测。也被接受为input_audio_transcription.language。 |
| output_language | enum | auto | auto, zh, en, ja, ko, vi, th, id, ar, fr, de, es, pt, ru, it | 口语回复被阅读的语言,例如对应相同字符的日语或中文。它不会翻译回复:在说明中询问其语言。自动让模型选择。也被接受为output_audio.language。 |
| speed | number | - | 0.5 到 2 | 回复的说话速率从0.5到2。较低的数值会减慢语音,较高的数值会加快。也被接受为speech_rate。如果省略,则适用模型自身的默认值。 |
| enable_speech_emotion | boolean | true | - | 口头回复中情感更为明显。关闭它以获得更均匀的表达。 |
| max_history_turns | integer | - | 1 到 50 | 模型对每个回复读取了多少次早期交换,介于1到50之间。较少的交易所使用较少的输入代币。若省略,则适用模型自身的默认值。 |
| enable_search | boolean | false | - | 在网上搜索实时信息。与函数调用在同一会话中工作。搜索结果会被添加到对话中,并作为输入令牌计数。 |
| modalities | string | ["text","audio"] | - | 模型返回哪种输出类型,轮回一回合。去掉音频,只用文字回复。 |
| input_audio_format | enum | pcm16 | pcm16 | 你附加到输入缓冲区的音频编码:base64 16位PCM,频率为16 kHz。 |
| output_audio_format | enum | pcm24 | pcm24 | 该型号回流的音频编码:16位PCM,频率为24 kHz。 |
| turn_detection | string | {"type":"server_vad"} | - | 语音活动检测:决定你说完话后模型应回复。默认开启,server_vad,暂停后回合结束。smart_turn还会权重你说的话,所以像“嗯”这样的填充音不会结束回合或打断回复,smart_turn_v2也会减少对旁观者和旁白的回应。阈值是 -1 到 1 的数字,默认为... |
在wss://api.empiriolabs.ai/v1/realtime?model=qwen-audio-3-1-realtime-flash通过WebSocket实现全双工语音,并用普通授权承载头进行认证。通过套接字配置session.update会话,包含语音、指令、模式、转向检测、语言和传递。
将input_language设置为你所说的语言,你的演讲文字记录就是用这个语言书写的,output_language到口语回复所用的语言。每个语言分别取自动或 zh、en、ja、ko、vi、th、id、ar、fr、de、es、pt、ru 和 it 中的一个。输出语言不会翻译回复,所以在说明中也要要求它的语言。speed(0.5 到 2)设定说话速率,enable_speech_emotion表达表达,并max_history_turns(1 到 50)模型读取的早期交流次数。
这个型号的音色是独立的一组。从音色列表中选一个,而不是把另一个音色放在另一个模型对面,或者保持不设置,默认音色会被自动提供。
网页搜索默认关闭。用 enable_search 开启。它和函数调用在同一会话中工作,搜索结果会被添加到对话中,并计入输入令牌。
音频和文本代币在双向中分别定价。口头回复仅按其音频输出代币计费,文本输出费率适用于无音频的回复。每完成一回合根据模型报告的使用情况单独计费。
在 EmpirioLabs,Qwen Audio 3.1 Realtime Flash 按量计费:输入:音频 $1.86 每 1M 音频输入令牌; 输入 $0.46 每100万个提示词标记; 输出 $1.40 每1M个生成的代币,只有文本回复; 输出:音频 $3.74 每1M生成的音频标记; 网络搜索 $0.00 每次调用时。本页的实时价格表始终与 API 的实际计费一致。
Qwen Audio 3.1 Realtime Flash 支持 240K token 的上下文窗口,每次响应最多 16,384 个输出 token。
Qwen Audio 3.1 Realtime Flash 通过 api.empiriolabs.ai 上的 WEBSOCKET /v1/realtime 提供,使用标准的 Bearer 令牌认证。
打开EmpirioLabs Playground并点击 Start session,即可在浏览器中试用。Qwen Audio 3.1 Realtime Flash 运行在 WebSocket 上,而不是一次请求一次响应,因此接入时请从实时语音快速入门开始。用 EmpirioLabs API 密钥和模型 id qwen-audio-3-1-realtime-flash 从你的服务器连接,然后双向流式传输音频。
创建 EmpirioLabs 账户,然后在控制台的 API Keys生成密钥。计费使用按量付费的额度,只为实际发出的请求付费。