Comment utiliser l’API Qwen Audio 3.1 TTS Next

Qwen Audio 3.1 TTS Next est disponible sur EmpirioLabs. C’est le modèle de génération audio d’Alibaba. Décris une scène en langage simple, y compris qui parle, ce qu’il dit, comment elle sonne, et ce qui peut être entendu autour d’eux, et il retourne un fichier audio fini avec la narration, les dialogues, les effets sonores, l’ambiance et la musique ensemble. Le jeu continue APRÈS /v1/audio/speech, dans l’API et dans le Playground.

Regardez le film de lancement

Chaque son du film est une véritable sortie Qwen Audio 3.1 TTS Next, chaque scène à partir d’une description écrite: un marché nocturne sous la pluie, un couloir hanté à minuit, et une chanson près d’un feu de camp. Les images sont des sorties Qwen Image 2.1, et la musique a été générée par ACE-Step sur EmpirioLabs. Regardez-le sur YouTube.

En quoi il diffère de Qwen Audio 3.1 TTS

Qwen Audio 3.1 TTS lit votre texte à voix haute dans l’une des 19 voix prédéfinies et peut le diffuser en streaming au fur et à mesure de sa génération. Qwen Audio 3.1 TTS Next n’a pas de liste vocale: vous décrivez chaque voix dans Entrée ou clonez-le à partir d’un clip de référence, et la même description ajoute des effets sonores, de l’ambiance et de la musique. Utilisez Qwen Audio 3.1 TTS pour lire le texte tel qu’écrit dans une voix fixe, et Qwen Audio 3.1 TTS Next lorsque le résultat est une scène produite.

Votre première demande

curl https://api.empiriolabs.ai/v1/audio/speech \ -H « Autorisation: Porteur $EMPIRIOLABS_API_KEY » \ -H « Type-Contenu: application/json » \ -d '{ « modèle »: « qwen-audio-3-1-tts-next », « input »: « Une narratrice calme dit: \"Chaque matin, le port se réveille avant la ville. » « Vagues douces et mouettes lointaines en arrière-plan. » }'

La réponse porte par défaut une URL vers l’audio généré, MP3 à 48 000 Hz en stéréo. response_format Prend aussi WAV ou PCM, sample_rate prend de 8 000 à 48 000 Hz, et Chaînes Prend 1 pour le mono ou 2 pour le stéréo. Vitesse, Volume, et Seed sont ajustables, bit_rate définit un débit binaire MP3 constant, et Filigrane ajoute un filigrane de contenu généré par l’IA.

Rédaction de la description

• Des voix. Décrivez chaque locuteur, comme une narratrice calme ou un enfant excité, et mettez chaque réplique entre guillemets.
• Livraison. Expliquez comment chaque phrase est prononcée, par exemple en chuchotant, en répondant chaleureusement ou en disant joyeusement.
• Du son. Ajoutez des effets sonores, de l’ambiance et de la musique dans le même texte, comme la pluie qui tape sur une fenêtre ou un piano doux en arrière-plan.
• Les langues. Chinois et anglais.
• Longueur. Jusqu’à 3 000 caractères par demande et jusqu’à 120 secondes d’audio, ou 240 secondes pour un podcast.

Voix issues de clips de référence

Références prend jusqu’à trois clips comme URL ou URI de données audio base64, chacun jusqu’à 30 secondes et 10 Mo, en WAV, MP3 ou OGG Opus. Nomme-les dans Entrée comme @voice1, @voice2, et @voice3, dans l’ordre dans lequel vous les envoyez. Deux extraits forment un dialogue à deux voix:

curl https://api.empiriolabs.ai/v1/audio/speech \ -H « Autorisation: Porteur $EMPIRIOLABS_API_KEY » \ -H « Type-Contenu: application/json » \ -d '{ « modèle »: « qwen-audio-3-1-tts-next », « références »: ["https://example.com/visitor.mp3", « https://example.com/bookseller.mp3"], « entrée »: « Dans une librairie calme, @voice1 chuchote: « As-tu vu la nouvelle étagère de poésie ?\ » @voice2 répond chaleureusement: « Je l’ai installée ce matin. Prends ton temps.\ » Une page tourne, et la pluie tape sur la fenêtre. », « response_format »: « wave », « sample_rate »: 24000, « channels »: 1 }'

Notes opérationnelles

• Toutes les directions entrent Entrée. Une demande avec Enseignement ou avec SSML est refusé avec un 400 qui le dit.
• Tous @voice Il a besoin de son chargeur. @voice2 dans Entrée Il faut au moins deux clips Références; sinon, la demande est rejetée.
• Pas de voix prédéfinies. Voix est accepté afin que les clients compatibles OpenAI fonctionnent inchangés, et cela n’a aucun effet. Décrire la voix dans Entrée.
• Un fichier complet par demande. Ce modèle ne diffuse pas en streaming, et APRÈS /v1/audio/speech:stream Retour 400. Un court clip dure environ 15 à 40 secondes, donc il faut laisser au client plusieurs minutes d’attente pour les longues scènes.
• Formats. MP3, WAV et PCM. Opus n’est pas proposé.

Prix

Facturation de jetons. Les jetons d’entrée couvrent la description et chaque clip de référence, et les jetons de sortie couvrent l’audio généré, environ 200 par seconde. Une requête avec des clips de référence facture plus de jetons d’entrée que la même description sans eux. Les débits actuels sont sur le page modèle et les page de prix.

Commencez à construire

Essayez Qwen Audio 3.1 TTS Ensuite, dans le Terrain de jeu, où chaque paramètre est un contrôle en direct, et lire le Documentation API pour la référence complète des paramètres.

Divulgation: Cet article a été rédigé avec l'aide d'AI et examiné par EmpirioLabs AI.