Wie man die Qwen Audio 3.1 TTS API verwendet

Qwen Audio 3.1 TTS ist auf EmpirioLabs verfügbar. Es handelt sich um Alibabas Echtzeit-Sprachsynthesemodell mit 19 Stimmen, die Sie in klarer Sprache steuern, und Inline-Tags, die Emotionen verändern oder mitten im Satz einen Laut hinzufügen. Es gibt eine fertige Audiodatei zurück über POST /v1/audio/speech oder streamt Audio, während es erzeugt wird POST /v1/audio/speech:stream, in der API und im Playground sowie über die Realtime API spricht er Text, während der Text noch geschrieben wird.

Sehen Sie sich den Startfilm an

Jede Stimme im Film ist eine echte Qwen Audio 3.1 TTS-Ausgabe: Brian inszenierte in klarer Sprache als Trailer-Erzähler, dann Cindy, Ava und Andy mit aufgeregten, flüsternden und lachenden Tags. Die Bilder sind Qwen Image 2.1-Ausgaben, und die Musik wurde von ACE-Step auf EmpirioLabs erstellt. Sieh es dir auf YouTube an..

Stimmen und Sprachen

Englische Stimmen. Fünfzehn Stimmen sprechen Englisch. Emily, Luna, Eric und Luca haben britische Akzente. Abby, Annie, Ava, Beth, Betty, Cally, Cindy, Donna, Andy, Brian und David haben amerikanische Akzente.

Mehrsprachige Stimmen. longanhuan_v3.1, longanlingxin_v3.1, longanfengyue_v3.1, und xunanchuan_v3.1 Chinesisch, Englisch und andere Sprachen zu lesen.

Sprachhinweise. Für Texte, die Sprachen mischen, language_hints nimmt ein Array von Sprachcodes, wie zum Beispiel ["en", "zh"], um die Aussprache zu leiten. Sechzehn Codes werden unterstützt, darunter En, ZH, ja, ko, fr, de, es, und ar.

Deine erste Bitte

curl https://api.empiriolabs.ai/v1/audio/speech \ -h "Autorisierung: Träger $EMPIRIOLABS_API_KEY" \ -H "Inhaltstyp: application/json" \ -d '{ "model": "qwen-audio-3-1-tts", "input": "[aufgeregt] Wir haben unser Startdatum erreicht![ lacht] Danke euch allen für die späten Nächte.", "Stimme": "Ava_v3.1", "Anweisung": "Warm und optimistisch, wie ein Teamleiter, der gute Nachrichten teilt", "response_format": "mp3", "sample_rate": 24000 }'

Die Antwort enthält eine URL zum generierten Audio. Die Ausgabe ist MP3, WAV, PCM oder Opus mit 8.000 bis 48.000 Hz. Geschwindigkeit, Pitch, Volume, und Saatgut sind verstellbar, Aussprache und Ersetzen Namen, Akronyme und Markennamen festzulegen, und enable_markdown_filter Verhindert, dass die Formatierung von Zeichen laut vorgelesen wird.

Leitung der Zustellung

• Instruktion. Unterricht legt Emotion, Ton, Charakter, Tempo und Sprechstil für den gesamten Abschnitt fest, bis zu 1.000 Zeichen.
• Lieferetiketten. Ein Tag wie [aufgeregt], [flüstert], [ernst], oder [sehr langsam] verändert die Lieferung von dem Moment an, an dem sie erscheint.
• Sound-Tags. Ein Tag wie [lacht], [seufzt], [Keuchen], oder [räuspert sich] fügt einen einmaligen Sound hinzu. Die vollständige Liste der Tags findet sich auf dem Eingabe Parameter in der API-Referenz.

Streaming

POST /v1/audio/speech:stream nimmt denselben Körper und gibt Server-gesendete Events zurück. Jeder audio.chunk Event trägt einen Base64-Audioblock in audio_b64, im gewünschten Format und in der Abtastrate. Ein finales Ergebnis audio.done event trägt die URL der vollständigen Datei, deren Dauer und die Nutzung, gefolgt von [FERTIG].

Echtzeit: Text sprechen, während er geschrieben wird

Über die Realtime-API spricht Qwen Audio 3.1 TTS Text, während der Text noch eingeht, zum Beispiel die Antwort eines Sprachmodells während des Streams. Öffnen Sie einen WebSocket zu wss://api.empiriolabs.ai/v1/realtime?model=qwen-audio-3-1-tts mit deinem API-Schlüssel in der Genehmigung Header, Text senden mit input_text_buffer.append in Stücken beliebiger Größe und spielen die Audioaufnahmen von jedem ab response.audio.delta Ereignis.

{"type": "session.update", "session": {"voice": "Ava_v3.1", "instruction": "Warm, wie ein Late-Night-Radiomoderator"}} {"type": "input_text_buffer.append", "text": "Guten Abend, "} {"type": "input_text_buffer.append", "text": "und willkommen zur späten Ausgabe."} {"type": "session.finish"}

• Ich schicke eine SMS. input_text_buffer.commit Sagt alles, was bisher gesendet wurde. Session.Finish spricht den Rest und beendet die Sitzung mit Sitzung beendet..
• Audio und Einstellungen. Der Ton ist standardmäßig ein 16-Bit-PCM mit 24.000 Hz. session.update legt die Stimme, die Instruktion, das Format fest (PCM, mp3, oder Opus), und die anderen Spracheinstellungen, beginnend mit dem nächsten Segment.
• Segmente. Der Text wird in Segmenten gesprochen, die an Satzgrenzen enden, und jedes Segment endet mit einem antwort.fertig Ereignis, das seine Nutzung überträgt. Ein Abschnitt endet ebenfalls nach 8 Sekunden ohne neuen Text.
• Webseiten. Ein Browser verbindet sich mit einem kurzlebigen Client-Geheimnis von POST /v1/realtime/client_secrets, sodass dein API-Schlüssel auf deinem Server bleibt.

Die Echtzeit-Leitfaden hat einen kompletten Python-Client und die Ereignisreferenz.

Betriebshinweise

• Jeder Stimmen-id endet mit _v3.1. Ein bloßer Name wie Emily, oder eine Qwen Audio 3.0 TTS Sprach-ID, wird zusammen mit der Liste der 19 gültigen IDs abgelehnt. Verwendung Emily_v3.1.
• SSML wird nicht unterstützt. Senden Sie Klartext. Verwenden Unterricht für die Gesamtlieferung und Inline-Tags für Änderungen im Text.
• Bis zu 10.000 Zeichen pro Anfrage. Teile längere Skripte auf mehrere Anfragen auf.

Preisgestaltung

Token-Abrechnung. Qwen Audio 3.0 TTS berechnet pro Zeichen; Qwen Audio 3.1 TTS berechnet Token. Der von Ihnen gesendete Text wird als Eingabetoken abgerechnet, und das erzeugte Audio als Ausgabetoken mit 12,5 Token pro Sekunde Audio, und eine Echtzeitsitzung berechnet jedes Segment auf die gleiche Weise. Die Geschwindigkeit und Pitch Einstellungen ändern die Länge des Audios, aber nicht die abgerechneten Tokens, während eine Anweisung, die die Lieferung verlangsamt, Ausgabetoken hinzufügt. Aktuelle Raten sind auf dem modellblatt und die preisseite.

Beginnen Sie mit dem Bau

Probier Qwen Audio 3.1 TTS in der Spielplatz, wobei der Sprachwähler und alle Parameter Live-Steuerungen sind und die API-Dokumentation für die vollständige Parameterreferenz.

Offenlegung: Dieser Artikel wurde mit KI-Unterstützung geschrieben und von EmpirioLabs AI überprüft.