ChatTTS 开源文本转语音模型本地部署、API使用和搭建WebUI界面（建议收藏）

ChatTTS（Chat Text To Speech）是专为对话场景设计的文本生成语音(TTS)模型，特别适用于大型语言模型(LLM)助手的对话任务，以及诸如对话式音频和视频介绍等应用。它支持中文和英文，还可以穿插笑声、说话间的停顿、以及语气词等，听起来很真实自然，在语音合成中表现出高质量和自然度（ChatTTS团队声称：突破开源天花板）。

同时，ChatTTS模型文件总大小1.1GB左右，常用的个人笔记本电脑均可部署，因此涉及到文本转语音场景，均可以自己操作转换了！

ChatTTS特点

由于ChatTTS以下极具吸引人的特点，使得它一经推出就成为了爆款：

• 多语言支持：ChatTTS的一个关键特性是支持多种语言，包括英语和中文。这使其能够为广泛用户群提供服务，并克服语言障碍。
• 大规模数据训练：ChatTTS使用了大量数据进行训练，大约有1000万小时的中文和英文数据。这样的大规模训练使其声音合成质量高，听起来自然。
• 对话任务兼容性：ChatTTS很适合处理通常分配给大型语言模型LLMs的对话任务。它可以为对话生成响应，并在集成到各种应用和服务时提供更自然流畅的互动体验。
• 开源计划：ChatTTS团队目前开源一个经过训练的基础模型。
• 控制和安全性：ChatTTS致力于提高模型的可控性，添加水印，并将其与LLMs集成。这些努力确保了模型的安全性和可靠性。
• 易用性：ChatTTS为用户提供了易于使用的体验。它只需要文本信息作为输入，就可以生成相应的语音文件。这样的简单性使其方便有语音合成需求的用户。

  下载ChatTTS模型文件

  因最大模型文件超过900MB，为了防止使用Git无法直接下载到本地，我们通过git-lfs工具包下载：

  brew install git-lfs
  

  通过Git复制模型文件到笔记本电脑（文件夹：ChatTTS-Model）：

  git lfs install
  git clone https://www.modelscope.cn/pzc163/chatTTS.git ChatTTS-Model
  

  如果因网络不佳等原因，下载中断，我们可以通过以下命令在中断后继续下载：

  git lfs pull
  

  

  安装ChatTTS依赖包列表

  下载ChatTTS官网GitHub源码：

  git clone https://gitcode.com/2noise/ChatTTS.git ChatTTS
  

  进入源码目录，批量安装Python依赖包：

  pip install -r requirements.txt
  

  特别注意：如果下载过程中，若出现找不到torch的2.1.0版本错误，请修改requirements.txt文件，把torch的版本修改为2.2.2后再次执行安装：

  

  Python依赖包列表requirements.txt文件如下，我们也可以手工一个一个的进行安装，无需下载整个源码（注意：torch的版本号为2.2.2）：

  omegaconf~=2.3.0
  torch~=2.2.2
  tqdm
  einops
  vector_quantize_pytorch
  transformers~=4.41.1
  vocos
  IPython
  

  ChatTTS中文文本转音频文件

  特别注意：经老牛同学的验证，ChatTTS官网的样例代码API已经过时，无法直接运行，特别是chat.load_models方法入参是错误的，下面是老牛同学通过阅读API入参且验证的可执行代码。

  # ChatTTS-01.py
  import ChatTTS
  import torch
  import torchaudio
  # 第一步下载的ChatTTS模型文件目录，请按照实际情况替换
  MODEL_PATH = '/Users/obullxl/PythonSpace/ChatTTS-Model'
  # 初始化并加载模型，特别注意加载模型参数，官网样例代码已经过时，请使用老牛同学验证代码
  chat = ChatTTS.Chat()
  chat.load_models(
      vocos_config_path=f'{MODEL_PATH}/config/vocos.yaml',
      vocos_ckpt_path=f'{MODEL_PATH}/asset/Vocos.pt',
      gpt_config_path=f'{MODEL_PATH}/config/gpt.yaml',
      gpt_ckpt_path=f'{MODEL_PATH}/asset/GPT.pt',
      decoder_config_path=f'{MODEL_PATH}/config/decoder.yaml',
      decoder_ckpt_path=f'{MODEL_PATH}/asset/Decoder.pt',
      tokenizer_path=f'{MODEL_PATH}/asset/tokenizer.pt',
  )
  # 需要转化为音频的文本内容
  text = '大家好，我是老牛，微信公众号：老牛同学。很高兴与您相遇，专注于编程技术、大模型及人工智能等相关技术分享，欢迎关注和转发，让我们共同启程智慧之旅！'
  # 文本转为音频
  wavs = chat.infer(text, use_decoder=True)
  # 保存音频文件到本地文件（采样率为24000Hz）
  torchaudio.save("./output/output-01.wav", torch.from_numpy(wavs[0]), 24000)
  

  运作Python代码：python ChatTTS-01.py

  $ python ChatTTS-01.py
  WARNING:ChatTTS.utils.gpu_utils:No GPU found, use CPU instead
  INFO:ChatTTS.core:use cpu
  INFO:ChatTTS.core:vocos loaded.
  INFO:ChatTTS.core:gpt loaded.
  INFO:ChatTTS.core:decoder loaded.
  INFO:ChatTTS.core:tokenizer loaded.
  WARNING:ChatTTS.core:dvae not initialized.
  INFO:ChatTTS.core:All initialized.
   20%|██████████████████████████▌                    | 76/384 [00:08