MetaVoice-1B入门指南 - 开源表达性文本转语音模型

MetaVoice-1B简介

MetaVoice-1B是一个开源的文本转语音(TTS)基础模型,由metavoiceio团队开发。它具有以下主要特点:

12亿参数,基于100K小时语音数据训练能够生成带有情感节奏和语调的英语语音支持美式和英式声音的零样本克隆,只需30秒参考音频可通过微调实现跨语言的声音克隆能够合成任意长度的文本

该项目以Apache 2.0许可证发布,可以无限制地使用。

快速开始

Web UI

使用以下命令启动Web界面:

docker-compose up -d ui && docker-compose ps && docker-compose logs -f

服务器

使用以下命令启动API服务:

docker-compose up -d server && docker-compose ps && docker-compose logs -f

API文档可在/docs查看。

安装

环境要求

GPU VRAM ≥ 12GBPython ≥ 3.10, < 3.12pipx

依赖安装

推荐使用poetry进行依赖管理:

pipx install poetryconda deactivateexport PYTHON_KEYRING_BACKEND=keyring.backends.fail.Keyringpoetry install && poetry run pip install torch==2.2.1 torchaudio==2.2.1

使用方法

本地使用:poetry run python -i fam/llm/fast_inference.py# 在交互式Python会话中使用APItts.synthesise(text="This is a demo of text to speech by MetaVoice-1B, an open-source foundational audio model.", spk_ref_path="assets/bria.mp3")云端部署:poetry run python serving.pypoetry run python app.py

通过Hugging Face使用

Google Colab Demo

微调

MetaVoice-1B支持对第一阶段LLM进行微调。详细的微调方法和配置可以参考项目文档。

学习资源

项目GitHub仓库API文档Web UI源码Google Colab教程Hugging Face模型页面

MetaVoice-1B为开发者提供了强大的TTS基础模型,结合丰富的文档和示例,使其易于上手和使用。无论是想要快速体验还是进行深入研究,MetaVoice-1B都是一个值得关注的开源项目。