Qwen Audio 3.1 Realtime Flash ist auf EmpirioLabs verfügbar. Es ist die schnelle Stufe der Qwen Audio 3.1 Sprachkonversationsmodelle von Alibaba: Man öffnet einen WebSocket, streamt das Mikrofonaudio hoch und die gesprochene Antwort wird zurückgestreamt. Es verfügt über 88 Stimmen, separate Einstellungen für die Sprache, die man spricht, und die Sprache, in der es antwortet, eine Zugerkennung, die eine Pause am Satzende anzeigt, sowie eine native Websuche, die in derselben Sitzung wie die eigenen Funktionsaufrufe läuft.
Probieren Sie es in der Playground: Klicken Sie auf Sitzung starten und sprechen.
Sehen Sie sich den Startfilm an
Jede Stimme im Film ist eine echte Qwen Audio 3.1 Realtime Flash-Antwort über den Sockel, jede beantwortet eine getippte Frage: Luca auf Englisch, Yuxiaoyun auf Mandarin und Emily auf Japanisch. Die Bilder sind Qwen Image 2.1-Ausgaben, und die Filmmusik wurde von ACE-Step auf EmpirioLabs generiert. Sieh es dir auf YouTube an..
Anschluss
Öffnen Sie den Echtzeit-Endpunkt mit dem Modell in der Abfrage-String und Ihrem API-Schlüssel beim Handshake:
wss://api.empiriolabs.ai/v1/realtime?model=qwen-audio-3-1-realtime-flash Autorisierung: Inhaber YOUR_EMPIRIOLABS_API_KEY
Konfigurieren Sie die Sitzung mit session.update, Mikrofonton anhängen als input_audio_buffer.append, und lies die Antwort von response.audio.delta, mit dem Transkript auf response.audio_transcript.delta. Audio wird als 16-Bit-PCM übertragen, 16 kHz steigend und 24 kHz zurück.
{"type": "session.update", "session": { "voice": "xunanchuan_v3.1", "instructions": "Du bist ein prägnanter Reiseassistent. Antworte auf Englisch.", "input_language": "en", "output_language": "en", "turn_detection": {"type": "smart_turn_v2"} }}
Stimmen, Sprachen und Vortrag
- Stimmen. 88 Stimmen, aufgeführt auf der
StimmeParameter in der API-Referenz und im Playground-Picker. VerlassenStimmeUngesetzt undlonganqian_v3.1spricht. - Sprachen.
input_languageist die Sprache, in der du sprichst, in der dein Zeugnis verfasst ist, undoutput_languagein der Sprache, in der die Antwort gelesen wird. Jeder nimmtAutooder einer von 14 Codes:ZH,En,ja,ko,vi,th,id,ar,fr,de,es,PT,ru, undEs. - Lieferung.
Geschwindigkeit(0,5 bis 2) legt die Sprechrate fest,enable_speech_emotiondie expressive Darbietung, undmax_history_turns(1 bis 50) wie viele frühere Austausche das Modell ausliest.
Kurvenerkennung
server_vad, der Standard, beendet deinen Zug nach einer Pause von silence_duration_ms. smart_turn beurteilt auch, was gesagt wurde, sodass Fülllaute wie "um" keinen Zug beenden oder die Antwort unterbrechen, und smart_turn_v2 Außerdem beantwortet sie seltener von Zuschauern und Nebenbemerkungen. Set turn_detection um selbst Züge zu nullieren, um sich zu committen.
Websuche mit eigenen Funktionen
Die Websuche ist standardmäßig deaktiviert. Schalte sie mit enable_search, und deklarieren Funktionen in Werkzeuge In derselben Sitzung: Das Modell kann etwas nachschlagen und Ihre Funktion innerhalb eines Gesprächs aufrufen.
{"type": "session.update", "session": { "enable_search": true, "tools": [{ "type": "function", "name": "book_table", "description": "Book a restaurant table", "parameters": {"type": "object", "properties": { "restaurant": {"type": "string"}, "time": {"type": "string"}}, "required": ["restaurant", "time"]} }] }}
Betriebshinweise
- Wähle die Stimme vor der ersten Runde. Sobald die Sitzung mit der Audioverarbeitung begonnen hat, gilt ein
session.updatemit einer anderen Stimme wird mit einemFehlerEreignis. Eine neue Sitzung eröffnen, um die Stimmen zu wechseln. - Die Ausgabesprache lässt sich nicht übersetzen. Es legt die Sprache fest, in der die Antwort gelesen wird. Frag nach dieser Sprache in
Anleitungauch. - Streame kurz weiter, nachdem die Rede beendet ist. Die Abzugserkennung beendet eine Runde, indem sie hört, wie der Lautsprecher stoppt, sodass ein Client, der den Ton beim letzten Wort abschaltet, keine Antwort bekommt. Senden Sie danach etwa eine Sekunde Stille.
Preisgestaltung
Jede abgeschlossene Runde wird nach der vom Modell gemeldeten Nutzung abgerechnet, mit separaten Tarifen für Audio- und Texttoken in beide Richtungen, also eine reine Textantwort, mit audio fallen gelassen von Modalitäten, kostet weniger als eine gesprochene Version. Suchergebnisse werden zur Konversation hinzugefügt und zählen als Eingabetoken. Echtzeit-Flash ist deutlich unter dem Preis erhältlich Qwen Audio 3.1 Realtime Plus. Die aktuellen Zinssätze sind auf dem modellblatt und die preisseite.
Beginnen Sie mit dem Bau
Probier Qwen Audio 3.1 Realtime Flash in der Playgroundlesen sie die API-Dokumentation, und finde die vollständigen Ereignistabellen in der Echtzeit-Sprach-API Führer.




