रियलटाइम वॉइस API क्या है?

एक रियलटाइम वॉयस API एक WebSocket कनेक्शन पर लाइव, दो-तरफा ऑडियो सत्र रखता है: आपका ऐप माइक्रोफोन ऑडियो को मॉडल पर स्ट्रीम करता है और जैसे ही वह आता है, उसका स्पोकन रिप्लाई चलाता है। उपयोगकर्ता कभी भी जवाब को रोक सकता है, और वही एंडपॉइंट लाइव ट्रांसक्रिप्शन भी प्रदान करता है।

मॉडल के प्रकार

रियलटाइम वॉइस API क्या है

अधिकांश AI API अनुरोध और प्रतिक्रिया पैटर्न का पालन करते हैं: आप पूरा इनपुट भेजते हैं और पूर्ण आउटपुट का इंतजार करते हैं। रियलटाइम वॉयस API कनेक्शन को खुला रखता है। ऑडियो एक साथ दोनों दिशाओं में WebSocket के माध्यम से बहता है, इसलिए आपका एप्लिकेशन मॉडल के माइक्रोफोन को स्ट्रीम कर सकता है जबकि मॉडल का स्पोकन रिप्लाई वापस स्ट्रीम होता है। दोनों पक्ष कभी भी बोल सकते हैं, इसलिए उपयोगकर्ता मॉडल को बीच में रोक सकता है।

जिस मॉडल से आप जुड़ते हैं, वही तय करता है कि आपको किस तरह का सेशन मिलेगा:

  • भाषण-से-भाषण। एक बोली गई बातचीत जिसमें एक मॉडल होता है जो अपनी आवाज़ में सुनता और जवाब देता है।
  • लाइव ट्रांसक्रिप्शन। जब वक्ता अभी भी बोल रहा होता है, तब टेक्स्ट वापस आ जाता है।
  • भाषण अनुवाद। मॉडल लक्ष्य भाषा में उत्तर देता है, जिसमें टेक्स्ट और ऑडियो दोनों होते हैं।
  • टेक्स्ट टू स्पीच। आप टेक्स्ट स्ट्रीम करते हैं, और स्पीच तब वापस आती है जब टेक्स्ट अभी भी आ रहा होता है।

रियलटाइम सत्र कैसे काम करता है

आप WebSocket खोलते हैं wss://api.empiriolabs.ai/v1/realtime?model=MODEL_ID और अपने API कुंजी से प्रमाणीकरण करें प्राधिकरण हैंडशेक का हेडर। सत्र शुरू होने के बाद, आप वॉइस, निर्देश और टर्न डिटेक्शन मोड सेट करते हैं, फिर ऑडियो को छोटे-छोटे हिस्सों में स्ट्रीम करते हैं। मॉडल ऑडियो चंक्स वापस भेजता है, जो कहता है उसका ट्रांसक्रिप्ट, और एक इवेंट जो हर टर्न के अंत को चिह्नित करता है।

टर्न डिटेक्शन तय करता है कि मॉडल कब जवाब देगा। सर्वर-साइड वॉइस गतिविधि डिटेक्शन में, मॉडल यह नोटिस करता है कि स्पीकर कब रुकता है और अपने आप प्रतिक्रिया देता है, और जवाब के दौरान बोलना उसे बाधित करता है। टर्न डिटेक्शन बंद होने पर, आपका एप्लिकेशन हर टर्न समाप्त हो जाता है और जवाब मांगता है। कई speech-to-speech मॉडल आपके द्वारा बातचीत के दौरान घोषित कार्यों को भी कॉल कर सकते हैं, और कुछ लाइव वीडियो फ्रेम स्वीकार करते हैं या वेब खोज करते हैं।

ब्राउज़र कोड में कभी भी आपकी API कुंजी नहीं होनी चाहिए, इसलिए वेब पेज एक अल्पकालिक क्लाइंट सीक्रेट से जुड़ता है जिसे आपका सर्वर बनाता है पोस्ट /v1/realtime/client_secrets. एंडपॉइंट OpenAI रियलटाइम प्रोटोकॉल का पालन करता है, इसलिए OpenAI SDKs इससे जुड़ सकते हैं।

रियलटाइम वॉइस किस लिए उपयोग की जाती है

  • वॉइस एजेंट। सपोर्ट, बुकिंग और इंटेक लाइनें जो सवालों के जवाब देती हैं और आपके फंक्शन्स को कॉल करके ऑर्डर ढूंढती हैं या अपॉइंटमेंट शेड्यूल करती हैं।
  • इन-ऐप असिस्टेंट। किसी उत्पाद या डिवाइस के अंदर हैंड्स-फ्री सहायता।
  • ट्यूटरिंग और भाषा अभ्यास। बोले गए पाठ जो सीखने वाले के बोलने के दौरान प्रतिक्रिया देते हैं।
  • लाइव कैप्शन। मीटिंग्स, स्ट्रीम्स और इवेंट्स के लिए टेक्स्ट करें जब लोग बात कर रहे हों।
  • व्‍याख्‍या। बातचीत के दौरान लक्षित भाषा में अनुवादित भाषण।

मॉडल चुनना और बिलिंग कैसे काम करती है

प्रतिक्रिया विलंबता, आवाज़ें और भाषाएँ, मॉडल व्यवधानों और पृष्ठभूमि शोर को कैसे संभालता है, और क्या यह फ़ंक्शन कॉलिंग, वीडियो इनपुट या वेब खोज का समर्थन करता है, इसकी तुलना करें। फिर प्रत्येक मॉडल पेज पर बिलिंग यूनिट की जांच करें। स्पीच-टू-स्पीच मॉडल प्रत्येक पूर्ण टर्न को उपयोग किए गए टोकन से बिल करते हैं, और कई ऑडियो और टेक्स्ट टोकन की अलग-अलग कीमत तय करते हैं, इसलिए एक स्पोकन टर्न और एक समान लंबाई का टाइप किया गया टर्न अलग-अलग मात्रा में खर्च होता है। प्रति मिनट मूल्य वाला मॉडल सत्र की लंबाई को बिल करता है। लाइव ट्रांसक्रिप्शन बिल आपके द्वारा भेजे गए ऑडियो की अवधि के आधार पर, या कुछ मॉडलों पर टोकन के आधार पर।

EmpirioLabs AI पर रियलटाइम मॉडल आज़माएं

ओपन Playground, एक रियलटाइम मॉडल चुनें, एक आवाज़ चुनें और बोलना शुरू करें। अपना क्लाइंट बनाने के लिए, डैशबोर्ड में एक API कुंजी बनाएं और रियलटाइम वॉइस API गाइड, जो हर रियलटाइम मॉडल को उसकी भाषाओं और आवाज़ों, घटनाओं और एक पूर्ण उदाहरण के साथ सूचीबद्ध करता है। रियलटाइम मॉडल निम्नलिखित में दिखाई देते हैं ऑडियो मॉडल और ट्रांसक्रिप्शन मॉडल।.

जैसे-जैसे जाएं भुगतान करें, या साप्ताहिक भत्तों वाली योजना चुनें। वर्तमान दरें मूल्य निर्धारण पृष्ठ।.

EmpirioLabs AI पर मॉडल

20 मॉडल, जहाँ बिलिंग इकाई एक है वहाँ सबसे सस्ते पहले। हर मॉडल के पेज पर पूरा रेट कार्ड, पैरामीटर और कोड है।

एंडपॉइंट

POST /v1/audio/transcriptions WEBSOCKET /v1/realtime POST /v1/audio/speech POST /v1/audio/speech:stream GET /v1/voices

ऑडियो के प्रति मिनट या घंटे की कीमत

मॉडलसबसे कम दरकिस पर लागू
StepAudio 2.5 ASR Stream StepFun$0.40 प्रति घंटे का ऑडियोप्रतिलेखन
Qwen Audio 3.0 ASR Stream Alibaba Cloud$0.648 प्रति घंटे का ऑडियोप्रतिलेखन
Deepgram Nova-3 Stream Deepgram$0.025 प्रति मिनट ऑडियोप्रतिलेखन
OpenAI Whisper 1 OpenAI$0.030 प्रति मिनटप्रति मिनट ऑडियो

ये भी उपलब्ध हैं: StepAudio 3 Realtime, StepAudio 2.5 Realtime, Qwen3.5 Omni Flash Realtime, Qwen3.5 Omni Plus Realtime, Qwen3.8 LiveTranslate Flash Realtime, Qwen3.8 Omni Flash Realtime, Qwen Audio 3.1 Realtime Plus, Gemini 3.8 Live, Gemini 3.8 Live Extended Thinking, Qwen Audio 3.1 ASR Stream, Qwen Audio 3.1 ASR Message, Qwen Audio 3.1 TTS, Qwen Audio 3.1 TTS Plus, Qwen Audio 3.1 Realtime Flash, Qwen Audio 3.0 Realtime Plus, Qwen Audio 3.0 Realtime Flash

अक्सर पूछे जाने वाले प्रश्न

रियलटाइम वॉइस API और text-to-speech API में क्या अंतर है?

एक text-to-speech API टेक्स्ट को ऑडियो में बदल देता है, एक-एक अनुरोध करके। एक रियलटाइम वॉयस API दो-तरफा कनेक्शन को खुला रखता है, ताकि मॉडल सुन सके, भाषण में जवाब दे सके और एक सत्र के भीतर बाधित हो सके।

रियलटाइम वॉइस API WebSocket का उपयोग क्यों करता है?

एक WebSocket एक कनेक्शन के माध्यम से दोनों दिशाओं में डेटा ले जाता है, इसलिए माइक्रोफोन ऑडियो मॉडल तक पहुंच सकता है जबकि उसका जवाब वापस प्रवाहित होता है। स्ट्रीम की गई HTTP प्रतिक्रिया केवल आउटपुट ले जाती है।

क्या उपयोगकर्ता AI को बोलते समय बाधित कर सकते हैं?

हाँ। सर्वर-साइड वॉइस गतिविधि पहचान में, मॉडल के जवाब देते समय बोलना इसे बाधित करता है, और मॉडल नए इनपुट का जवाब देता है।

रियलटाइम वॉइस सेशन का बिल कैसे किया जाता है?

स्पीच-टू-स्पीच मॉडल प्रत्येक पूर्ण किए गए टर्न को उसके टोकन या प्रति मिनट मूल्य वाले मॉडल पर सत्र की लंबाई के आधार पर बिल करते हैं। लाइव ट्रांसक्रिप्शन बिल भेजे गए ऑडियो की अवधि के आधार पर, या कुछ मॉडलों पर टोकन के आधार पर। EmpirioLabs AI पर आप जैसे-जैसे भुगतान करें वैसा ही भुगतान कर सकते हैं या साप्ताहिक भत्तों के साथ योजना चुन सकते हैं।

क्या मैं ब्राउज़र से रियलटाइम वॉइस API से कनेक्ट कर सकता हूँ?

हाँ। आपका सर्वर आपके API कुंजी से एक अल्पकालिक क्लाइंट सीक्रेट बनाता है, और वेब पेज उस सीक्रेट के साथ WebSocket खोलता है, इसलिए API कुंजी कभी ब्राउज़र तक नहीं पहुंचती।

बेहतर समापन बिंदुओं का उपयोग करने के लिए तैयार हैं?

हमारे मूल्य निर्धारण की जाँच करें या यदि आप चाहते हैं कि आपका अपना मॉडल हमारे स्टैक पर तैनात किया जाए, तो पहुंचें।