एक रियलटाइम वॉयस API एक WebSocket कनेक्शन पर लाइव, दो-तरफा ऑडियो सत्र रखता है: आपका ऐप माइक्रोफोन ऑडियो को मॉडल पर स्ट्रीम करता है और जैसे ही वह आता है, उसका स्पोकन रिप्लाई चलाता है। उपयोगकर्ता कभी भी जवाब को रोक सकता है, और वही एंडपॉइंट लाइव ट्रांसक्रिप्शन भी प्रदान करता है।
अधिकांश AI API अनुरोध और प्रतिक्रिया पैटर्न का पालन करते हैं: आप पूरा इनपुट भेजते हैं और पूर्ण आउटपुट का इंतजार करते हैं। रियलटाइम वॉयस API कनेक्शन को खुला रखता है। ऑडियो एक साथ दोनों दिशाओं में WebSocket के माध्यम से बहता है, इसलिए आपका एप्लिकेशन मॉडल के माइक्रोफोन को स्ट्रीम कर सकता है जबकि मॉडल का स्पोकन रिप्लाई वापस स्ट्रीम होता है। दोनों पक्ष कभी भी बोल सकते हैं, इसलिए उपयोगकर्ता मॉडल को बीच में रोक सकता है।
जिस मॉडल से आप जुड़ते हैं, वही तय करता है कि आपको किस तरह का सेशन मिलेगा:
आप WebSocket खोलते हैं wss://api.empiriolabs.ai/v1/realtime?model=MODEL_ID और अपने API कुंजी से प्रमाणीकरण करें प्राधिकरण हैंडशेक का हेडर। सत्र शुरू होने के बाद, आप वॉइस, निर्देश और टर्न डिटेक्शन मोड सेट करते हैं, फिर ऑडियो को छोटे-छोटे हिस्सों में स्ट्रीम करते हैं। मॉडल ऑडियो चंक्स वापस भेजता है, जो कहता है उसका ट्रांसक्रिप्ट, और एक इवेंट जो हर टर्न के अंत को चिह्नित करता है।
टर्न डिटेक्शन तय करता है कि मॉडल कब जवाब देगा। सर्वर-साइड वॉइस गतिविधि डिटेक्शन में, मॉडल यह नोटिस करता है कि स्पीकर कब रुकता है और अपने आप प्रतिक्रिया देता है, और जवाब के दौरान बोलना उसे बाधित करता है। टर्न डिटेक्शन बंद होने पर, आपका एप्लिकेशन हर टर्न समाप्त हो जाता है और जवाब मांगता है। कई speech-to-speech मॉडल आपके द्वारा बातचीत के दौरान घोषित कार्यों को भी कॉल कर सकते हैं, और कुछ लाइव वीडियो फ्रेम स्वीकार करते हैं या वेब खोज करते हैं।
ब्राउज़र कोड में कभी भी आपकी API कुंजी नहीं होनी चाहिए, इसलिए वेब पेज एक अल्पकालिक क्लाइंट सीक्रेट से जुड़ता है जिसे आपका सर्वर बनाता है पोस्ट /v1/realtime/client_secrets. एंडपॉइंट OpenAI रियलटाइम प्रोटोकॉल का पालन करता है, इसलिए OpenAI SDKs इससे जुड़ सकते हैं।
प्रतिक्रिया विलंबता, आवाज़ें और भाषाएँ, मॉडल व्यवधानों और पृष्ठभूमि शोर को कैसे संभालता है, और क्या यह फ़ंक्शन कॉलिंग, वीडियो इनपुट या वेब खोज का समर्थन करता है, इसकी तुलना करें। फिर प्रत्येक मॉडल पेज पर बिलिंग यूनिट की जांच करें। स्पीच-टू-स्पीच मॉडल प्रत्येक पूर्ण टर्न को उपयोग किए गए टोकन से बिल करते हैं, और कई ऑडियो और टेक्स्ट टोकन की अलग-अलग कीमत तय करते हैं, इसलिए एक स्पोकन टर्न और एक समान लंबाई का टाइप किया गया टर्न अलग-अलग मात्रा में खर्च होता है। प्रति मिनट मूल्य वाला मॉडल सत्र की लंबाई को बिल करता है। लाइव ट्रांसक्रिप्शन बिल आपके द्वारा भेजे गए ऑडियो की अवधि के आधार पर, या कुछ मॉडलों पर टोकन के आधार पर।
ओपन Playground, एक रियलटाइम मॉडल चुनें, एक आवाज़ चुनें और बोलना शुरू करें। अपना क्लाइंट बनाने के लिए, डैशबोर्ड में एक API कुंजी बनाएं और रियलटाइम वॉइस API गाइड, जो हर रियलटाइम मॉडल को उसकी भाषाओं और आवाज़ों, घटनाओं और एक पूर्ण उदाहरण के साथ सूचीबद्ध करता है। रियलटाइम मॉडल निम्नलिखित में दिखाई देते हैं ऑडियो मॉडल और ट्रांसक्रिप्शन मॉडल।.
जैसे-जैसे जाएं भुगतान करें, या साप्ताहिक भत्तों वाली योजना चुनें। वर्तमान दरें मूल्य निर्धारण पृष्ठ।.
20 मॉडल, जहाँ बिलिंग इकाई एक है वहाँ सबसे सस्ते पहले। हर मॉडल के पेज पर पूरा रेट कार्ड, पैरामीटर और कोड है।
एंडपॉइंट
/v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voicesऑडियो के प्रति मिनट या घंटे की कीमत
| मॉडल | सबसे कम दर | किस पर लागू |
|---|---|---|
| StepAudio 2.5 ASR Stream StepFun | $0.40 प्रति घंटे का ऑडियो | प्रतिलेखन |
| Qwen Audio 3.0 ASR Stream Alibaba Cloud | $0.648 प्रति घंटे का ऑडियो | प्रतिलेखन |
| Deepgram Nova-3 Stream Deepgram | $0.025 प्रति मिनट ऑडियो | प्रतिलेखन |
| OpenAI Whisper 1 OpenAI | $0.030 प्रति मिनट | प्रति मिनट ऑडियो |
ये भी उपलब्ध हैं: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash
एक text-to-speech API टेक्स्ट को ऑडियो में बदल देता है, एक-एक अनुरोध करके। एक रियलटाइम वॉयस API दो-तरफा कनेक्शन को खुला रखता है, ताकि मॉडल सुन सके, भाषण में जवाब दे सके और एक सत्र के भीतर बाधित हो सके।
एक WebSocket एक कनेक्शन के माध्यम से दोनों दिशाओं में डेटा ले जाता है, इसलिए माइक्रोफोन ऑडियो मॉडल तक पहुंच सकता है जबकि उसका जवाब वापस प्रवाहित होता है। स्ट्रीम की गई HTTP प्रतिक्रिया केवल आउटपुट ले जाती है।
हाँ। सर्वर-साइड वॉइस गतिविधि पहचान में, मॉडल के जवाब देते समय बोलना इसे बाधित करता है, और मॉडल नए इनपुट का जवाब देता है।
स्पीच-टू-स्पीच मॉडल प्रत्येक पूर्ण किए गए टर्न को उसके टोकन या प्रति मिनट मूल्य वाले मॉडल पर सत्र की लंबाई के आधार पर बिल करते हैं। लाइव ट्रांसक्रिप्शन बिल भेजे गए ऑडियो की अवधि के आधार पर, या कुछ मॉडलों पर टोकन के आधार पर। EmpirioLabs AI पर आप जैसे-जैसे भुगतान करें वैसा ही भुगतान कर सकते हैं या साप्ताहिक भत्तों के साथ योजना चुन सकते हैं।
हाँ। आपका सर्वर आपके API कुंजी से एक अल्पकालिक क्लाइंट सीक्रेट बनाता है, और वेब पेज उस सीक्रेट के साथ WebSocket खोलता है, इसलिए API कुंजी कभी ब्राउज़र तक नहीं पहुंचती।
हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।