O que é uma API de voz em tempo real?

Uma API de voz em tempo real mantém uma sessão de áudio ao vivo e bidirecional por meio de uma conexão WebSocket: seu aplicativo transmite áudio do microfone para o modelo e reproduz sua resposta falada conforme ela chega. O usuário pode interromper a resposta a qualquer momento, e o mesmo endpoint também oferece transcrição ao vivo.

Tipos de modelos

O que é uma API de voz em tempo real

A maioria das APIs de IA segue um padrão de solicitação e resposta: você envia uma entrada completa e espera uma saída completa. Uma API de voz em tempo real mantém a conexão aberta. O áudio flui em ambas as direções ao mesmo tempo por um WebSocket, de modo que sua aplicação pode transmitir o microfone do usuário para o modelo enquanto a resposta falada do modelo retorna. Qualquer um dos lados pode falar a qualquer momento, então o usuário pode interromper o modelo no meio da resposta.

O modelo ao qual você se conecta decide que tipo de sessão você recebe:

  • Discurso a fala. Uma conversa falada com um modelo que escuta e responde com sua própria voz.
  • Transcrição ao vivo. Texto retornado enquanto o falante ainda está falando.
  • Tradução de fala. O modelo responde em um idioma-alvo, com texto e áudio.
  • Texto para voz. Você transmite o texto em streaming, e a fala retorna enquanto o texto ainda está chegando.

Como funciona uma sessão em tempo real

Você abre um WebSocket para wss://api.empiriolabs.ai/v1/realtime?model=MODEL_ID e autenticar-se com sua chave de API no Autorização cabeçalho do aperto de mão. Quando a sessão começa, você define a voz, as instruções e o modo de detecção de curva, depois transmite o áudio em pequenos blocos. O modelo envia de volta trechos de áudio para serem reproduzidos, uma transcrição do que está escrito e um evento que marca o fim de cada turno.

A detecção de turno determina quando o modelo responde. Com a detecção de atividade de voz no lado do servidor, o modelo percebe quando o falante para e responde sozinho, e falar durante sua resposta o interrompe. Com a detecção de turno desligada, seu aplicativo encerra cada turno e solicita a resposta. Muitos modelos speech-to-speech também podem chamar funções que você declara durante a conversa, e alguns aceitam quadros de vídeo ao vivo ou pesquisam na web.

O código do navegador nunca deve conter sua chave API, portanto uma página web se conecta a um segredo de cliente de curta duração que seu servidor cria com PÓS-/v1/realtime/client_secrets. O endpoint segue o protocolo OpenAI Realtime, então os SDKs OpenAI podem se conectar a ele.

Para que a voz em tempo real é usada

  • Agentes de voz. Linhas de suporte, agendamento e atendimento que respondem perguntas e ligam para suas funções para consultar um pedido ou agendar uma consulta.
  • Assistentes no app. Ajuda mãos livres dentro de um produto ou dispositivo.
  • Tutoria e prática de idiomas. Lições faladas que respondem enquanto o aprendiz fala.
  • Legendas ao vivo. Envie mensagens de texto para reuniões, transmissões e eventos enquanto as pessoas conversam.
  • Interpretação. Fala traduzida para o idioma-alvo durante uma conversa.

Escolhendo um modelo e como funciona a cobrança

Compare a latência de resposta, vozes e idiomas, como o modelo lida com interrupções e ruído de fundo, e se ele suporta chamadas de funções, entrada de vídeo ou busca na web. Depois, verifique a unidade de faturamento em cada página do modelo. Modelos de fala para fala faturam cada turno concluído a partir dos tokens usados, e muitos valoram tokens de áudio e texto separadamente, então um turno falado e um turno digitado do mesmo comprimento custam valores diferentes. Um modelo com preço por minuto cobra a duração da sessão. Transcrição ao vivo fatura pela duração do áudio que você envia, ou por tokens em alguns modelos.

Tente um modelo em tempo real no EmpirioLabs AI

Abra o Playground, selecione um modelo em tempo real, escolha uma voz e comece a falar. Para criar seu próprio cliente, crie uma chave de API no painel e siga o Guia da API de Voz em Tempo Real, que lista todos os modelos em tempo real com seus idiomas e vozes, os eventos e um exemplo completo. Modelos em tempo real aparecem entre os Modelos de áudio e o Modelos de transcrição.

Pague conforme você utiliza, ou escolha um plano com subsídios semanais. As tarifas atuais estão no página de preços.

Os modelos no EmpirioLabs AI

20 modelos, do mais barato para o mais caro quando compartilham uma unidade de cobrança. A página de cada modelo traz a tabela de preços completa, os parâmetros e código.

Endpoints

POST /v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voices

Preço por minuto ou hora de áudio

ModeloMenor tarifaAplica-se a
StepAudio 2.5 ASR Stream StepFun$0.40 por hora de áudioTranscrição
Qwen Audio 3.0 ASR Stream Alibaba Cloud$0.648 por hora de áudioTranscrição
Deepgram Nova-3 Stream Deepgram$0.025 por minuto de áudioTranscrição
OpenAI Whisper 1 OpenAI$0.030 por minutoPor minuto de áudio

Também disponíveis: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash

Perguntas frequentes

Qual é a diferença entre uma API de voz em tempo real e uma API text-to-speech?

Uma API text-to-speech transforma texto em áudio, uma solicitação por vez. Uma API de voz em tempo real mantém uma conexão bidirecional aberta, permitindo que o modelo escute, responda em fala e seja interrompido em uma sessão.

Por que uma API de voz em tempo real usa um WebSocket?

Um WebSocket transporta dados em ambas as direções ao mesmo tempo por uma única conexão, de modo que o áudio do microfone pode fluir para o modelo enquanto sua resposta retorna. Uma resposta HTTP transmitida em streaming só carrega saída.

Os usuários podem interromper a IA enquanto ela está falando?

Sim. Com a detecção de atividade de voz do lado do servidor, falar enquanto o modelo está respondendo interrompe a detecção, e o modelo responde à nova entrada.

Como é cobrada uma sessão de voz em tempo real?

Modelos de fala para fala faturam cada turno concluído por seus tokens, ou pelo tempo da sessão nos modelos com preço por minuto. Transcrição ao vivo fatura pela duração do áudio enviado, ou por tokens em alguns modelos. Em EmpirioLabs AI você pode pagar conforme vai ou escolher um plano com alocações semanais.

Posso me conectar a uma API de voz em tempo real a partir de um navegador?

Sim. Seu servidor cria um segredo de cliente de curta duração com sua chave de API, e a página da web abre o WebSocket com esse segredo, de modo que a chave de API nunca chegue ao navegador.

Pronto para usar endpoints melhores?

Confira nossos preços ou entre em contato se quiser que seu próprio modelo seja implementado em nossa pilha.