Wie man die Qwen Audio 3.1 TTS Next API verwendet

Qwen Audio 3.1 TTS Next ist auf EmpirioLabs verfügbar. Es ist Alibabas Audio-Generierungsmodell. Beschreibe eine Szene in klarer Sprache, einschließlich wer spricht, was gesagt wird, wie sie klingt und was um sie herum gehört werden kann, und sie liefert eine fertige Audiodatei mit Erzählung, Dialog, Soundeffekten, Ambiance und Musik zusammen. Sie läuft weiter POST /v1/audio/speech, in der API und im Playground.

Sehen Sie sich den Startfilm an

Jeder Ton im Film ist ein echter Qwen Audio 3.1 TTS Next-Ausgang, jede Szene stammt aus einer schriftlichen Beschreibung: ein Nachtmarkt im Regen, ein Spukgang um Mitternacht und ein Lied am Lagerfeuer. Die Bilder sind Qwen Image 2.1-Ausgaben, und die Filmmusik wurde von ACE-Step auf EmpirioLabs erstellt. Sieh es dir auf YouTube an..

Wie es sich von Qwen Audio 3.1 TTS unterscheidet

Qwen Audio 3.1 TTS liest deinen Text laut in einer von 19 voreingestellten Stimmen vor und kann ihn streamen, sobald er generiert wird. Qwen Audio 3.1 TTS Next hat keine Sprachliste: Du beschreibst jede Stimme in Eingabe oder klonen Sie es aus einem Referenzclip, und dieselbe Beschreibung fügt Soundeffekte, Ambiance und Musik hinzu. Verwenden Sie Qwen Audio 3.1 TTS, um Text in fester Stimme vorzulesen, und Qwen Audio 3.1 TTS Next, wenn das Ergebnis eine produzierte Szene ist.

Deine erste Bitte

curl https://api.empiriolabs.ai/v1/audio/speech \ -H "Autorisierung: Träger $EMPIRIOLABS_API_KEY" \ -H "Inhaltstyp: application/json" \ -d '{ "model": "qwen-audio-3-1-tts-next", "eingabe": "Eine ruhige weibliche Erzählerin sagt: \"Jeden Morgen wacht der Hafen vor der Stadt auf.\" Sanfte Wellen und entfernte Möwen im Hintergrund." }'

Die Antwort enthält eine URL zum generierten Audio, MP3 mit 48.000 Hz in Stereo standardmäßig. response_format nimmt außerdem WAV oder PCM, sample_rate nimmt 8.000 bis 48.000 Hz und Kanäle Braucht 1 für Mono oder 2 für Stereo. Geschwindigkeit, Volume, und Saatgut sind verstellbar, bit_rate setzt eine konstante MP3-Bitrate, und Wasserzeichen fügt ein KI-generiertes Inhalts-Wasserzeichen hinzu.

Verfassen der Beschreibung

• Stimmen. Beschreiben Sie jeden Sprecher, zum Beispiel eine ruhige weibliche Erzählerin oder ein aufgeregtes Kind, und setzen Sie jede gesprochene Zeile in Anführungszeichen.
• Lieferung. Sagen Sie, wie jede Zeile gesprochen wird, zum Beispiel flüstern, Antworten warm oder fröhlich sagen.
• Sound. Fügen Sie Soundeffekte, Ambiente und Musik im selben Text hinzu, wie zum Beispiel Regen, der an ein Fenster klopft, oder ein leises Klavier im Hintergrund.
• Sprachen. Chinesisch und Englisch.
• Länge. Bis zu 3.000 Zeichen pro Anfrage und bis zu 120 Sekunden Audio, also 240 Sekunden für einen Podcast.

Stimmen aus Referenzclips

Quellen nimmt bis zu drei Clips als URLs oder base64-Audiodaten-URIs auf, jeweils bis zu 30 Sekunden und 10 MB, in WAV, MP3 oder OGG Opus. Nennen Sie sie in Eingabe als @voice1, @voice2, und @voice3, in der Reihenfolge, in der Sie sie senden. Zwei Clips ergeben einen zweistimmigen Dialog:

curl https://api.empiriolabs.ai/v1/audio/speech \ -H "Autorisierung: Träger $EMPIRIOLABS_API_KEY" \ -H "Inhalt-Typ: application/json" \ -d '{ "model": "qwen-audio-3-1-tts-next", "references": ["https://example.com/visitor.mp3", "https://example.com/bookseller.mp3"], "input": "In einer ruhigen Buchhandlung flüstert @voice1: \"Hast du das neue Poesieregal gesehen?\" @voice2 antwortet herzlich: \"Ich habe es heute Morgen aufgebaut. Lass dir Zeit." Eine Seite blättert um, und Regen klopft ans Fenster.", "response_format": "wav", "sample_rate": 24000, "channels": 1 }'

Betriebshinweise

• Alle Richtung geht hinein Eingabe. Eine Anfrage mit Unterricht oder bei SSML wird es mit einer 400 abgelehnt, die das bestätigt.
• Jeder @voice Braucht seinen Clip. @voice2 in Eingabe Benötigt mindestens zwei Clips Quellen; ansonsten wird der Antrag abgelehnt.
• Keine voreingestellten Stimmen. Stimme wird akzeptiert, sodass OpenAI-kompatible Clients unverändert funktionieren und es keinen Einfluss hat. Beschreiben Sie die Stimme in Eingabe.
• Eine vollständige Akte pro Anfrage. Dieses Modell streamt nicht, und POST /v1/audio/speech:stream bringt 400 zurück. Ein kurzer Clip dauert etwa 15 bis 40 Sekunden, also erlaube dem Klienten mehrere Minuten Timeout für lange Szenen.
• Formate. MP3, WAV und PCM. Opus wird nicht angeboten.

Preisgestaltung

Token-Abrechnung. Eingabetoken decken die Beschreibung und jeden Referenzclip ab, und Ausgabetoken decken das erzeugte Audio ab, etwa 200 pro Sekunde. Eine Anfrage mit Referenzclips berechnet mehr Eingabetoken als dieselbe Beschreibung ohne sie. Aktuelle Raten sind auf dem modellblatt und die preisseite.

Beginnen Sie mit dem Bau

Probier Qwen Audio 3.1 TTS als Nächstes in der Spielplatz, wobei jeder Parameter eine aktive Steuerung ist, und lesen Sie die API-Dokumentation für die vollständige Parameterreferenz.

Offenlegung: Dieser Artikel wurde mit KI-Unterstützung geschrieben und von EmpirioLabs AI überprüft.