실시간 음성 API는 하나의 WebSocket 연결을 통해 실시간 양방향 오디오 세션을 진행합니다: 앱은 마이크 오디오를 모델에 스트리밍하고, 모델이 도착할 때마다 음성 응답을 재생합니다. 사용자는 언제든지 응답을 중단할 수 있으며, 같은 엔드포인트가 실시간 전사도 제공합니다.
대부분의 AI API는 요청과 응답 패턴을 따릅니다: 완전한 입력을 보내고 완전한 출력을 기다리는 방식입니다. 실시간 음성 API는 대신 연결을 유지합니다. 오디오는 WebSocket을 통해 양방향으로 동시에 흐르므로, 애플리케이션은 사용자의 마이크를 모델에 스트리밍하고, 모델의 음성 응답은 다시 전달됩니다. 어느 쪽이든 언제든지 말할 수 있으므로, 사용자는 모델의 응답 도중 중단할 수 있습니다.
접속하는 모델이 어떤 종류의 세션을 받게 되는지를 결정합니다:
WebSocket을 여는 다음 wss://api.empiriolabs.ai/v1/realtime?model=MODEL_ID 그리고 API 키로 인증하세요. 승인 악수의 헤더. 세션이 시작되면 음성, 지시, 턴 감지 모드를 설정한 후 오디오를 작은 청크로 스트리밍합니다. 모델은 재생할 오디오 청크, 자신이 말한 내용의 대본, 그리고 각 턴 종료를 알리는 이벤트를 다시 보냅니다.
턴 감지는 모델이 언제 응답할지 결정합니다. 서버 측 음성 활동 감지를 통해 모델은 화자가 멈추는 것을 감지하고 스스로 응답하며, 응답 중에 말하면 응답이 중단됩니다. 턴 감지가 꺼지면 애플리케이션은 매 턴을 종료하고 응답을 요청합니다. 많은 speech-to-speech 모델은 대화 중 선언한 함수를 호출할 수 있으며, 일부는 실시간 비디오 프레임을 받거나 웹 검색을 지원합니다.
브라우저 코드는 절대 API 키를 보유해서는 안 되므로, 웹페이지는 서버가 생성하는 단기간 클라이언트 시크릿으로 연결됩니다 /v1/realtime/client_secrets 이후. 엔드포인트는 OpenAI Realtime 프로토콜을 따르므로, OpenAI SDK가 이에 연결할 수 있습니다.
응답 지연, 음성 및 언어, 모델이 중단과 배경 잡음을 어떻게 처리하는지, 함수 호출, 비디오 입력 또는 웹 검색을 지원하는지 비교하세요. 그리고 각 모델 페이지의 청구 단위를 확인하세요. 음성 투 음성 모델은 완료된 턴마다 사용한 토큰으로 요금을 청구하며, 많은 경우 오디오 및 텍스트 토큰을 별도로 청구하므로, 같은 길이의 음성 턴과 타이핑된 턴은 서로 다른 비용이 발생합니다. 분당 가격의 모델은 세션 길이에 따라 요금을 청구합니다. 실시간 전사는 보내는 오디오 시간, 또는 일부 모델에서는 토큰 단위로 요금을 청구합니다.
자주 묻는 질문 Playground, 실시간 모델을 선택하고 목소리를 선택한 후 말을 시작하세요. 직접 클라이언트를 구축하려면 대시보드에서 API 키를 생성하고 다음을 따르세요. 실시간 음성 API 가이드, 각 실시간 모델의 언어와 음성 정보, 이벤트, 그리고 완전한 예시를 나열합니다. 실시간 모델은 다음과 같은 곳에 나타납니다. 오디오 모델 그리고 전사 모델·.
사용량 때 지불하거나, 주간 수당이 있는 플랜을 선택하세요. 현재 요금은 가격표·.
모델 20개. 과금 단위가 같은 모델은 저렴한 순으로 정렬했습니다. 각 모델 페이지에 전체 요금표, 파라미터, 코드가 있습니다.
엔드포인트
/v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voices오디오 분 또는 시간당 요금
| 모델 | 최저 요금 | 적용 대상 |
|---|---|---|
| StepAudio 2.5 ASR Stream StepFun | $0.40 오디오 시간당 | 전사 |
| Qwen Audio 3.0 ASR Stream Alibaba Cloud | $0.648 오디오 시간당 | 전사 |
| Deepgram Nova-3 Stream Deepgram | $0.025 오디오 분당 | 전사 |
| OpenAI Whisper 1 OpenAI | $0.030 분당 | 오디오 분당 |
그 밖의 모델: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash
text-to-speech API는 텍스트를 한 번에 하나의 요청씩 오디오로 변환합니다. 실시간 음성 API는 양방향 연결을 유지하여 모델이 한 세션 내에 듣고, 음성 응답하며, 중단될 수 있도록 합니다.
WebSocket은 한 연결을 통해 양방향으로 데이터를 전송하므로, 마이크 오디오가 모델로 흐르고 모델의 응답이 다시 흐릅니다. 스트림 HTTP 응답은 출력만 전달합니다.
네. 서버 측 음성 활동 감지에서는 모델이 대답하는 동안 말을 하면 응답이 중단되고, 모델은 새로운 입력에 응답합니다.
음성 투 음성 모델은 각 회전 완료 시 토큰, 즉 분당 요금을 제기한 모델의 세션 길이로 청구합니다. 실시간 전사 청구서는 오디오 전송 시간, 일부 모델은 토큰 단위로 청구됩니다. EmpirioLabs AI 경우 사용량 차로 결제하거나 주간 할당량이 있는 요금제를 선택할 수 있습니다.
네. 서버는 API 키로 단기간 클라이언트 시크릿을 생성하고, 웹페이지는 그 시크릿으로 WebSocket을 열어 API 키가 브라우저에 도달하지 않습니다.