O que é uma API de geração de música por IA?

Uma API de geração de música com IA compõe áudio a partir de uma descrição em texto do estilo, clima, instrumentos e tempo e, em alguns modelos, a partir de letras, uma gravação de referência ou um vídeo para fazer a trilha sonora. Você envia um trabalho, faz uma pesquisa até que ele termine e baixa a faixa gerada.

Tipos de modelos

O que uma API de geração de música com IA faz

Uma API de geração de música cria novo áudio a partir de uma descrição. Um prompt nomeia o gênero, o clima, os instrumentos e o tempo, por exemplo Hip hop lo-fi, piano suave, 90 BPM, e o modelo retorna uma trilha finalizada. Dependendo do modelo, ele pode fazer mais:

  • Canções com vocais. Você fornece letras, frequentemente marcadas com tags de seção como [Verso] e [Refrão], e o modelo os canta. Uma configuração instrumental produz uma faixa sem vocais.
  • Trilhas sonoras para vídeo. Alguns modelos gravam um vídeo que você fornece, seguindo seus cortes e ritmo, ou colocam efeitos sonoros na ação.
  • Trabalhe a partir de áudio existente. Alguns modelos transformam um clipe de referência, regeneram uma seção dele ou constroem um cover ou arranjo a partir de uma música ou gravação vocal.
  • Efeitos sonoros. Vários modelos também geram efeitos sonoros a partir de uma descrição.

Como funciona uma solicitação

Você envia PÓS-/v1/audio/generations com o ID do modelo, o prompt e as configurações que o modelo aceita, tais como Letra, duração, Semente e o formato de saída (MP3, WAV, FLAC e outros). Cada solicitação retorna um job id Imediatamente. Enquete VÁ /v1/jobs/{job_id} até que o status seja completo, então baixe a faixa a partir da URL no resultado. Um modelo que grava um vídeo também pode retornar o vídeo finalizado com sua nova trilha sonora, através do endpoint de geração de vídeo.

Para que a geração de música é usada

  • Música de fundo para vídeos, anúncios, podcasts, streams e aplicativos.
  • Partituras para as imagens que seguem a edição de um vídeo específico.
  • Rascunhos das músicas para testar letras, melodias e arranjos.
  • Áudio do jogo e do aplicativo, como pistas curtas e efeitos sonoros.
  • Variações de um tema para testes ou para vários cortes de uma campanha.

O que comparar entre modelos de música

  • Vocais e letras. Se o modelo canta, segue tags de seção e lida com os idiomas que você precisa.
  • Comprimento. O comprimento máximo da faixa varia de modelo para modelo, desde clipes curtos até vários minutos, e alguns modelos escolhem a duração por conta própria.
  • Qualidade de áudio. Saída estéreo, taxa de amostragem e formatos lossless ou não comprimidos, como FLAC e WAV.
  • Entradas. Apenas texto, ou também referência a áudio e vídeo.
  • Repetibilidade. Em modelos que aceitam uma semente, a mesma semente e configurações reproduzem um resultado.
  • Price. Muitos modelos cobram por segundo do áudio gerado, alguns com um comprimento mínimo por faixa, e outros cobram uma tarifa fixa por faixa, independentemente do seu comprimento. Com a cobrança por segundo, uma faixa de 3 minutos custa três vezes mais do que uma faixa de 1 minuto.

Comparações de modelos lado a lado Mostrar as capacidades e taxas de dois modelos juntos.

Tente chamar um modelo musical no EmpirioLabs AI

Navegar pelo Modelos de áudio e gerar uma faixa no Playground. Para chamar um modelo a partir do código, crie uma chave de API no dashboard e envie o trabalho para https://api.empiriolabs.ai/v1/audio/generations e consulta o endpoint de trabalhos. O Referência de geração de música e som Descreve a solicitação e o fluxo da tarefa.

Pague conforme você utiliza, ou escolha um plano com subsídios semanais. As tarifas atuais estão no página de preços.

Os modelos no EmpirioLabs AI

9 modelos, do mais barato para o mais caro quando compartilham uma unidade de cobrança. A página de cada modelo traz a tabela de preços completa, os parâmetros e código.

Endpoints

POST /v1/audio/generations

Preço por segundo

ModeloMenor tarifaAplica-se a
ACE-Step 1.5 XL ACE-Step$0.0003$0.00025 por segundo geradoGeração musical
StepAudio 3 Music StepFun$0.000667 por segundo geradoDe texto para música
MiniMax Music 3 MiniMax$0.002$0.0018 por segundo geradoGeração musical
Sonilo Sound Effects 1.0 Sonilo$0.0036 por segundo geradoDe texto para efeito sonoro
Sonilo v1.1 Sonilo$0.0045 por segundo geradoDe texto para música

Também disponíveis: Stable Audio 2.0, Stable Audio 2.5, Sonilo Video to Video, Stable Audio 3 Medium

Perguntas frequentes

Uma API de música com IA pode gerar músicas com vocais?

Sim, em modelos que cantam. Você fornece letras, geralmente marcadas com tags de seção como [Verso] e [Refrão], e um prompt para o estilo. Outros modelos geram apenas música e som instrumentais.

Qual pode ser o comprimento de uma faixa gerada por IA?

Depende do modelo: os limites variam de clipes curtos até vários minutos por faixa. Alguns modelos permitem que você defina a duração, e outros a escolhem por conta própria.

A IA consegue gerar música que combine com um vídeo?

Sim. Alguns modelos pegam um vídeo como entrada e geram uma trilha sonora que acompanha seus cortes e ritmo, ou colocam efeitos sonoros na ação.

Como é precificada a geração de música por IA?

Muitos modelos cobram por segundo de áudio gerado, então faixas mais longas custam mais, enquanto outros cobram uma tarifa fixa por faixa. Em EmpirioLabs AI você pode pagar conforme vai ou escolher um plano com alocação semanal.

Pronto para usar endpoints melhores?

Confira nossos preços ou entre em contato se quiser que seu próprio modelo seja implementado em nossa pilha.