Como Usar a API Flash em Tempo Real do Qwen Audio 3.1

O Qwen Audio 3.1 Realtime Flash está disponível na EmpirioLabs. É o nível rápido dos modelos Qwen Audio 3.1 de conversa por voz do Alibaba: você abre um WebSocket, transmite o áudio do microfone e a resposta falada retorna. Ele possui 88 vozes, configurações separadas para o idioma que você fala e o idioma em que responde, detecção de giro que indica uma pausa no final de uma frase, e busca nativa na web que roda na mesma sessão que suas próprias chamadas de função.

Experimenta-o na Playground: clique em Iniciar sessão e converse.

Assista ao filme de lançamento

Cada voz do filme é uma resposta real Qwen Audio 3.1 Realtime Flash pelo soquete, cada uma respondendo a uma pergunta digitada: Luca em inglês, Yuxiaoyun em mandarim e Emily em japonês. As imagens são saídas Qwen Image 2.1, e a trilha foi gerada por ACE-Step no EmpirioLabs. Assista no YouTube.

Conexão

Abra o endpoint em tempo real com o modelo na string de consulta e sua chave API no handshake:

wss://api.empiriolabs.ai/v1/realtime?model=qwen-audio-3-1-realtime-flash Autorização: Portador YOUR_EMPIRIOLABS_API_KEY

Configure a sessão com session.update, adicione áudio do microfone como input_audio_buffer.append, e lê a resposta de response.audio.delta, com sua transcrição em response.audio_transcript.delta. O áudio viaja como PCM de 16 bits, 16 kHz subindo e 24 kHz voltando.

{"type": "session.update", "session": { "voice": "xunanchuan_v3.1", "instructions": "You are a brief travel assistant. Responda em inglês.", "input_language": "en", "output_language": "en", "turn_detection": {"type": "smart_turn_v2"} }}

Vozes, idiomas e entrega

• Vozes. 88 vozes, listadas no Voz no parâmetro na referência da API e no seletor de Playground. Sair Voz indefinido e longanqian_v3.1 fala.
• Línguas. input_language é o idioma que você fala, no qual seu histórico escolar está escrito, e output_language a linguagem em que a resposta é lida. Cada uma toma Auto ou um dos 14 códigos: zh, en, Ja, Ko, vi, th, id, ar, fr, de, es, pt, ru, e é.
• Entrega. Velocidade (0,5 a 2) define a taxa de fala, enable_speech_emotion a entrega expressiva, e max_history_turns (1 a 50) quantas trocas anteriores o modelo lê.

Detecção de curva

server_vad, o padrão, encerra seu turno após uma pausa de silence_duration_ms. smart_turn também julga o que foi dito, então sons de preenchimento como "hum" não encerram uma turno nem interrompem a resposta, e smart_turn_v2 também responde menos vezes a observações e observações laterais. Conjunto turn_detection para null para se comprometer com os turnos.

Busca na web com suas próprias funções

A busca na web está desativada por padrão. Ative com enable_search, e declaram funções em Ferramentas Na mesma sessão: o modelo pode pesquisar algo e chamar sua função em uma única conversa.

{"tipo": "session.update", "sessão": { "enable_search": Verdadeiro, "ferramentas": [{ "tipo": "função", "nome": "book_table", "descrição": "Reserve uma mesa de restaurante", "parâmetros": {"tipo": "objeto", "propriedades": { "restaurante": {"tipo": "string"}, "hora": {"tipo": "string"}}, "obrigatório": ["restaurante", "hora"]} }] }}

Notas operacionais

• Escolha a voz antes do primeiro turno. Uma vez que a sessão começa a processar o áudio, um session.update com uma voz diferente é recusada com um Erro evento. Abra uma nova sessão para trocar de voz.
• A linguagem de saída não se traduz. Ele define a linguagem em que a resposta é lida. Peça essa linguagem em Instruções também.
• Continue transmitindo brevemente depois do discurso. A detecção de curva termina um turno ao ouvir o alto-falante parar, então um cliente que corta o áudio na última palavra não recebe resposta. Envie cerca de um segundo de silêncio depois disso.

Preços

Cada turno concluído é faturado a partir do uso que o modelo reporta, com taxas separadas para tokens de áudio e texto em ambas as direções, então uma resposta apenas de texto, com áudio Descartado de Modalidades, custa menos do que um falado. Os resultados da busca são adicionados à conversa e contam como tokens de entrada. O Flash em tempo real tem preço bem abaixo Qwen Audio 3.1 Realtime Plus. As taxas atuais estão no página do modelo e o página de preços.

Comece a construir

Tente o Qwen Audio 3.1 Realtime Flash no Playground, ler Documentação da API, e encontre as tabelas completas de eventos na API de Voz em Tempo Real guia.

Divulgação: Este artigo foi escrito com assistência de IA e revisado por EmpirioLabs IA.