阿里巴巴的两款新语音型号已在EmpirioLabs上线，都是对话而非请求。你打开WebSocket，将麦克风音频上传，音频在扬声器仍在说话时恢复。
Qwen3.8 全能闪光实时 是唯一能看见的。除了你已经发送的音频外，你还可以推送实时视频帧，它会回答同一回合屏幕上显示内容的问题。它能传输56个声音，并在对话中调用你的功能。
Qwen 音频 3.1 实时加 是唯一能查找信息的。它支持原生网页搜索，每个会话都可以开启，拥有27个语音，上下文256K。
试试playground中的任一： 全能闪光实时 或 音频3.1 实时加.点击开始会话并进行对话。
连接
平台上每个模型都有一个实时端点，你选择带有查询参数的模型。用你在其他地方用的同一个API密钥认证握手：
wss：//api.empiriolabs.ai/v1/realtime？model=qwen3-8-omni-flash-realtime 授权：承载者YOUR_EMPIRIOLABS_API_KEY该协议遵循广泛使用的实时事件形状，因此按照该约定编写的客户端工作不变。通过套接字配置会话 session.update，附加麦克风音频为 input_audio_buffer.append，并从中朗读音频 响应.音频.delta 匹配的文字记录为 response.audio_transcript.delta。 。 。.
{“type”： “session.update”， “session”： { “voice”： “Tina”， “modalities”： [“text”， “audio”] }}音频以16位PCM形式双向传输。这两款型号向上时取16 kHz，回传24 kHz。该 session.created 你在Connect上收到的事件会报告该会话的格式，所以请在那边阅读，而不是假设。
Omni Flash 实时视频帧
帧会放在音频缓冲区旁边的独立缓冲区中：
{“type”：“input_image_buffer.append”， “image”：“<base64 JPEG 或 PNG>”}像发送摄像头帧一样发送，然后询问你在同一轮语音中展示的内容。它最多保留50个回合和240秒的视频历史，以及最多100个回合和600秒的音频。随着这些限制被突破，旧历史会脱离上下文。
在Audio 3.1上的网络搜索
除非你主动提出，并且是在会话中请求，否则搜索是关闭的：
{“type”： “session.update”， “session”： {“enable_search”： true}}开启后，模型可以回答训练后发生的事情。结果会被添加到对话中，因此搜索回合报告的输入令牌数明显比未搜索的回合多。
定价
两种模型都根据模型报告的使用量计费，音频令牌和文本令牌的费率分别不同。这种分摊很重要：口头回复主要是音频令牌，而请求仅文本回复则是drop。 音频 来自 模态 确实成本更低。当前费率是 全能闪光实时 以及 音频3.1 实时加 模型页和 定价页面这些都与你收费的金额保持同步。这两种型号都没有缓存输入层，因此每个输入令牌按普通费率计费。
第一次治疗前值得了解的事情
- 不要回传会话报告的语音。 两个型号都会在连接上宣布语音，但它们自己的生成器会拒绝，导致第一回合结束。保持语音不设置，平台会为该模型设置一个可用的默认值，或者自己从语音列表中选择一个。这两个列表没有共享名称，所以一个列表能用的语音在另一个列表上不行。
- 语音活动检测需要一段静默的时间才能触发。 这些模型通过听到你停止说话来判断你已经停止说话。如果客户在说话者说完最后一个词时立即切断音频流，那么什么都没有提交，也没有回复，这看起来就像是断裂的会话。演讲结束后继续流媒体大约一秒钟。
- 视频帧不是信息内容。 他们穿过了
input_image_buffer.append.将图像放入conversation.item.create内容数组被拒绝，在某些模型上，它会在回合结束时完全没有用户消息。 - 在 Audio 3.1 版本中，网页搜索和函数调用是互斥的。 每次会话启用一个，不要两个都开启。
- 一个新的插座就是新的对话。 连接之间没有服务器端内存，所以重新连接的客户端应该重放它希望模型保留的上下文。
完整的活动表、语音列表和音频格式均在 实时语音API 文档。这两种型号现在都有售。
