Como usar o Qwen Audio 3.0 Realtime Plus e o Flash em tempo real

Qwen Audio 3.0 Realtime Plus e Qwen Audio 3.0 Realtime Flash estão disponíveis na EmpirioLabs. Ambos são modelos de conversa por voz do Alibaba: você abre um WebSocket, transmite o áudio do microfone e a resposta falada retorna. Cada um tem 19 vozes, detecção de turno que indica uma pausa no final da frase, busca nativa na web e chamada funcional. O Realtime Plus equilibra raciocínio com ritmo conversacional; O Realtime Flash é ajustado para respostas rápidas, por um preço muito menor.

Experimente no Playground: Realtime Plus ou Flash em Tempo Real. Clique em iniciar sessão e converse.

Assista ao filme de lançamento

Cada voz do filme é uma resposta real Qwen Audio 3.0 Realtime pelo soquete, cada uma respondendo a uma pergunta digitada: Plus com loongeva e, em mandarim, longanlingxi e Flash com Daniel e Sherry. As imagens são saídas Qwen Image 2.1, e a trilha foi gerada por ACE-Step no EmpirioLabs. Assista no YouTube.

Conexão

wss://api.empiriolabs.ai/v1/realtime?model=qwen-audio-3-0-realtime-flash Autorização: Portador YOUR_EMPIRIOLABS_API_KEY

Configure a sessão com session.update, adicione áudio do microfone como input_audio_buffer.append, e lê a resposta de response.audio.delta, com sua transcrição em response.audio_transcript.delta. O áudio viaja como PCM de 16 bits, 16 kHz subindo e 24 kHz voltando.

{"tipo": "session.update", "session": { "voz": "daniel", "instructions": "você é um agente de suporte amigável para uma loja de bicicletas.", "turn_detection": {"type": "smart_turn"}, "speed": 1.1 }}

Vozes e entrega

• Vozes. 19 vozes, incluindo as vozes em inglês Daniel, eco, Hannah, e Sherry, listado no Voz no parâmetro na referência da API e no seletor de Playground. Sair Voz indefinido e Longanqian fala. Essas vozes diferem do conjunto dos modelos Qwen Audio 3.1 em tempo real.
• Entrega. Velocidade (0,5 a 2) define a taxa de fala, enable_speech_emotion a entrega expressiva, e max_history_turns (1 a 50) quantas trocas anteriores o modelo lê.
• Detecção de turno. server_vad, o padrão, encerra seu turno após uma pausa; smart_turn também julga o que foi dito, para que sons de preenchimento não terminem um turno, e smart_turn_v2 Também responde menos vezes aos que estão por aí.

Busca na web ou chamada de função

A busca na web está desativada por padrão; ative-a com enable_search, ou declarar funções em Ferramentas. Use um por sessão: um session.update que se tornaria contra ambos os recusando com um Erro evento que nomeia o campo, e a sessão mantém suas configurações anteriores. Para buscar em uma sessão que declarou ferramentas, envie "ferramentas": [] primeiro. Para ambos em uma sessão, use Qwen Audio 3.1 Flash em Tempo Real.

Notas operacionais

• Escolha a voz antes do primeiro turno. Uma vez que a sessão começa a processar o áudio, um session.update com uma voz diferente é recusada com um Erro evento. Abra uma nova sessão para trocar de voz.
• Não há configurações de idioma. input_language e output_language são configurações do Qwen Audio 3.1; no 3.0 cada um recebe um Erro evento nomeando, e o restante da atualização se aplica. Digamos em Instruções Qual idioma para responder.
• Continue transmitindo brevemente depois do discurso. A detecção de giro termina um turno ao ouvir o falante parar, então envie cerca de um segundo de silêncio após a última palavra.

Preços

Cada turno concluído é faturado a partir do uso que o modelo reporta, com taxas separadas para tokens de áudio e texto em ambas as direções, então uma resposta apenas de texto custa menos do que uma resposta falada. Os resultados da busca contam como tokens de entrada. As taxas atuais estão no Realtime Plus e Flash em Tempo Real Páginas de modelos e o página de preços.

Comece a construir

A referência da API para cada modelo é em Realtime Plus e Flash em Tempo Real, e as tabelas completas de eventos estão no API de Voz em Tempo Real guia. Para a geração mais nova, veja Como Usar a API Flash em Tempo Real do Qwen Audio 3.1.

Divulgação: Este artigo foi escrito com assistência de IA e revisado por EmpirioLabs IA.