Zhipu AI에 의해 개발 된 GLM-TTS는 Zero-shot 음성 복제를 지원하는 산업용 text-to-speech 시스템입니다. 그것은 speaker's 음성 몇 초의 참조 오디오를 사용하여, 미세 조정 또는 음성 특정 훈련을 필요로. 시스템은 Phoneme-level pronunciation 제어 및 명시된 정서적 표현 기능을 제공합니다. EmpirioLabs AI는 전용 GPU 인프라에서 GLM-TTS를 호스팅하고 배포 오버 헤드없이 생산 품질의 음성 합성에 API 액세스를 제공합니다.
Zero-Shot 음성 Cloning
전통적인 음성 복제 시스템은 몇 분 또는 시간의 교육 데이터와 훌륭한 컴퓨팅 리소스를 필요로합니다. GLM-TTS는 제로 샷 접근 방식을 활용하며, 오디오 샘플의 음성을 3초로 단축합니다. 이 훈련 단계 제거, 참조 목소리 일치하는 새로운 연설의 즉각적인 발생을 허용.
이 기능은 생산 파이프라인 내에서 실시간 음성 복제를 가능하게 합니다. 그것은 몇몇 실제적인 신청을 지원합니다:
맞춤 오디오 콘텐츠. audiobook narrations, podcast intros, 또는 특정한 person'에 있는 음성 메시지 생성;s 각 단어를 기록할 필요가 없는 목소리.
일관된 상표 음성. 모든 오디오 터치포인트를 통해 제품 또는 브랜드에 대한 일관성있는 음성 정체성을 만드십시오 - IVR 시스템, 인앱 narration, 튜토리얼 비디오 - 모든 업데이트에 사용할 수있는 원본 음성 배우가 필요하지 않습니다.
접근성 도구. 자신의 목소리를 잃은 개인은 통신 장치에 대한 원래 목소리의 버전을 유지, 단지 몇 초의 아카이브 오디오를 사용하여.
감정 표현 및 제어
GLM-TTS는 또한 생성된 연설의 감정적인 톤에 명시된 통제를 제공합니다. 이 시스템은 nuanced 정서 상태와 paralinguistic 기능을 지원하며, 개발자는 특정 상황에 맞는 출력을 조정할 수 있습니다.
| 제품 정보 | 이름 * |
|---|---|
| Zero-shot 음성 복제 | 참조 오디오의 ~3 초에서 어떤 목소리를 복제 |
| 감정 표현 | 감정적인 음색 (예, 행복, 진지하고, 진정) |
| Phoneme-level 제어 | 특정 단어나 구문을 위한 정밀한 곡물 발음 조정 |
| Multi-language 지원 | 혼합 언어 텍스트를 포함한 중국어 및 영어에 대한 기본 지원 |
| 낮은 문자 오류율 | 오픈 소스 TTS 시스템의 최저 오류 비율 중 |
음성 복제 및 정서 제어의이 조합은 특정 정체성 및 필수 정체성을 모두 일치시키는 연설의 발생을 허용합니다. 응용 프로그램은 empathetic 고객 서비스 목소리, 권위있는 뉴스 narrations, 또는 환자 튜토리얼 지침을 포함합니다.
기술적인 건축
GLM-TTS는 2단계 아키텍처를 사용합니다. 첫 번째 단계는 Llama 아키텍처를 기반으로 text-to-token autoregressive 모델이며, 텍스트를 분리된 오디오 토큰의 순서로 변환합니다. 두 번째 단계는 token-to-waveform diffusion 모델이며, 이 토큰을 고밀도 오디오로 변환합니다.
이 디자인은 전용 파형 발전기의 오디오 품질을 가진 자연적인 prosody를 위한 언어 모형의 일정한 이해를 결합합니다. 모델은 오픈 소스이며 HuggingFace에서 사용할 수 있으며 건축과 무게에 투명성을 제공합니다.
인프라 및 가용성
EmpirioLabs AI는 전용 GPU 인프라에서 GLM-TTS를 배포합니다. Inference 파이프라인, 스케일링 및 작업 신뢰성을 관리하여 생산 작업량을 지원합니다.
GLM-TTS는 음성 보조, 오디오 콘텐츠 플랫폼, 접근성 도구 및 상호 작용 애플리케이션에 통합할 수 있습니다. 개발자는 자체 GPU 리소스를 제공하거나 관리하지 않고 EmpirioLabs AI API를 통해 모델에 액세스할 수 있습니다.
공개: 이 문서는 AI 지원으로 작성되었으며 EmpirioLabs AI에 의해 검토되었습니다.
