क्वेन ऑडियो 3.1 रीयलटाइम फ्लैश EmpirioLabs पर उपलब्ध है। यह अलीबाबा के क्वेन ऑडियो 3.1 वॉयस वार्तालाप मॉडल का तेज़ स्तर है: आप एक वेबसॉकेट खोलते हैं, माइक्रोफ़ोन ऑडियो स्ट्रीम करते हैं, और बोले गए उत्तर वापस स्ट्रीम होते हैं। इसमें 88 आवाज़ें हैं, आपके द्वारा बोली जाने वाली भाषा और जिस भाषा में इसका उत्तर मिलता है, उस चीज़ के लिए अलग-अलग सेटिंग्स, टर्न डिटेक्शन जो एक वाक्य के अंत से एक विराम बताता है, और मूल वेब खोज जो आपके स्वयं के फ़ंक्शन कॉल के समान सत्र में चलती है।
यह कोशिश करो Playground: सत्र शुरू करें और बात करें पर क्लिक करें.
देखिए लॉन्च फिल्म
फिल्म में हर आवाज सॉकेट पर एक वास्तविक क्वेन ऑडियो 3.1 रीयलटाइम फ्लैश उत्तर है, प्रत्येक एक टाइप किए गए प्रश्न का उत्तर देता है: अंग्रेजी में लुका, मंदारिन में युक्सियाओयुन और जापानी में एमिली। चित्र क्वेन इमेज 2.1 आउटपुट हैं, और स्कोर EmpirioLabs पर एसीई-स्टेप द्वारा उत्पन्न किया गया था। इसे YouTube पर देखें।.
कनेक्ट करना
क्वेरी स्ट्रिंग में मॉडल के साथ रीयलटाइम एंडपॉइंट खोलें और हैंडशेक पर अपनी एपीआई कुंजी खोलें:
wss://api.empiriolabs.ai/v1/realtime?model=qwen-audio-3-1-realtime-flash प्राधिकरण: वाहक YOUR_EMPIRIOLABS_API_KEYसत्र को कॉन्फ़िगर करें session.update, माइक्रोफ़ोन ऑडियो को इस रूप में जोड़ें input_audio_buffer.append, और से उत्तर पढ़ें प्रतिक्रिया.ऑडियो.डेल्टा, इसके प्रतिलेख के साथ response.audio_transcript.डेल्टा. ऑडियो 16-बिट पीसीएम के रूप में यात्रा करता है, 16 किलोहर्ट्ज़ ऊपर जा रहा है और 24 किलोहर्ट्ज़ वापस आ रहा है।
{"type": "session.update", "session": { "voice": "xunanchuan_v3.1", "instructions": "आप एक संक्षिप्त यात्रा सहायक हैं। अंग्रेजी में उत्तर दें.", "input_language": "en", "output_language": "en", "turn_detection": {"type": "smart_turn_v2"} }}आवाज़ें, भाषाएँ और वितरण
- आवाज़ें। 88 आवाज़ें, सूचीबद्ध
आवाजपैरामीटर एपीआई संदर्भ में और Playground पिकर में। छोड़नाआवाजunset औरlonganqian_v3.1बोलता है। - भाषाओं।
input_languageक्या आप जिस भाषा में बोलते हैं, जिसमें आपकी प्रतिलेख लिखी गई है, औरoutput_languageजिस भाषा में उत्तर पढ़ा जाता है। प्रत्येक लेता हैस्वचालितया 14 कोड में से एक:जेडएच,करवाना,जा,को,VI,वें,परिचय,एआर,एफआर,विपरीत प्रभावकारी,एस,पॉइंट,आरयू, औरयह।. - वितरण।
रफ़्तार(0.5 से 2) बोलने की दर निर्धारित करता है,enable_speech_emotionअभिव्यंजक वितरण, औरmax_history_turns(1 से 50) मॉडल में पहले कितने एक्सचेंज किए गए हैं।
टर्न डिटेक्शन
server_vad, डिफ़ॉल्ट, के विराम के बाद आपकी बारी समाप्त हो जाती है silence_duration_ms।. smart_turn यह भी तय करता है कि क्या कहा गया था, इसलिए "उम" जैसी भराव ध्वनियाँ एक मोड़ को समाप्त नहीं करती हैं या उत्तर को बाधित नहीं करती हैं, और smart_turn_v2 साथ ही दर्शकों और साइड टिप्पणियों का जवाब भी कम बार देता है। सेट turn_detection करने के लिए शून्य करने के लिए प्रतिबद्ध करने के लिए अपने आप को बदल देता है।
अपने स्वयं के कार्यों के साथ वेब खोज
वेब खोज डिफ़ॉल्ट रूप से बंद है. इसे चालू करें enable_search, और में कार्यों की घोषणा करें उपकरण एक ही सत्र में: मॉडल कुछ देख सकता है और एक बातचीत के भीतर आपके फ़ंक्शन को कॉल कर सकता है।
{"प्रकार": "session.update", "session": { "enable_search": true, "tools": [{ "type": "function", "name": "book_table", "description": "एक रेस्तरां टेबल बुक करें", "पैरामीटर": {"type": "ऑब्जेक्ट", "गुण": { "रेस्तरां": {"प्रकार": "स्ट्रिंग"}, "समय": {"प्रकार": "स्ट्रिंग"}}, "आवश्यक": ["रेस्तरां", "समय"}}] }} }}परिचालन नोट्स
- पहली बारी से पहले आवाज चुनें। एक बार जब सत्र ऑडियो संसाधित करना शुरू कर देता है, तो
session.updateएक अलग आवाज के साथ एक के साथ मना कर दिया जाता हैचूकइवेंट। आवाज़ें बदलने के लिए एक नया सत्र खोलें। - आउटपुट भाषा अनुवाद नहीं करती है। यह उस भाषा को सेट करता है जिसमें उत्तर पढ़ा जाता है। उस भाषा के लिए पूछें
अनुदेशभी। - भाषण समाप्त होने के बाद थोड़ी देर के लिए स्ट्रीमिंग करते रहें। टर्न डिटेक्शन स्पीकर के रुकने की बात सुनकर एक मोड़ समाप्त करता है, इसलिए अंतिम शब्द पर ऑडियो को काटने वाले क्लाइंट को कोई उत्तर नहीं मिलता है। इसके बाद लगभग एक सेकंड का मौन भेजें।
मूल्य निर्धारण
प्रत्येक पूर्ण मोड़ को मॉडल रिपोर्ट के उपयोग से बिल किया जाता है, दोनों दिशाओं में ऑडियो और टेक्स्ट टोकन के लिए अलग-अलग दरों के साथ, इसलिए केवल पाठ के साथ उत्तर दें ऑडियो से गिरा दिया गया तौर-तरीके, बोली जाने वाली से भी कम लागत है। खोज परिणाम वार्तालाप में जोड़े जाते हैं और इनपुट टोकन के रूप में गिने जाते हैं। रीयलटाइम फ्लैश की कीमत काफी नीचे है क्वेन ऑडियो 3.1 रीयलटाइम प्लस. वर्तमान दरें इस पर हैं मॉडल पेज और मूल्य निर्धारण पृष्ठ।.
निर्माण शुरू करें
Qwen Audio 3.1 रीयलटाइम फ्ल्यास आज़माएं Playgroundपढ़ना एपीआई दस्तावेज़ीकरण, और में पूर्ण ईवेंट तालिकाएँ खोजें रीयलटाइम वॉयस एपीआई मार्गदर्शक।
