常见问题 / FAQ

[zhzLuke96]

这里讨论常见问题，每一个问题都会作为一层 issues 回复。

Here we address common questions, with each one posted as a separate layer of issue replies.

[zhzLuke96]

如何语音复刻？

目前已经支持各个模型的语音复刻功能，且在 skpv1 格式中也适配了参考音频等格式，下面是几种方法使用语音复刻：

1. 在 webui 中：在音色选择栏可以上传参考音色，这里可以最简单的使用语音复刻功能
2. 使用 api 时：使用 api 需要通过音色（即说话人）来使用语音复刻功能，所以，首先你需要创建一个你需要的说话人文件（.spkv1.json），并在调用 api 时填入 spk 参数为说话人的 name，即可使用。
3. Voice Clone：现在还支持使用 voice clone 模型进行语音复刻，使用 api 时配置相应 参考 即可。（由于现目前只支持 OpenVoice 用于 voice clone，所以不需要指定模型名称）

相关讨论 #118

[zhzLuke96]

配置了参考音频的 spk 文件生成结果全是杂音？

很大可能是上传音频配置有问题，所以建议一下几个方式解决：

1. 更新：更新代码更新依赖库版本，最重要的是更新 gradio （不出意外的话推荐尽量用最新版本）
2. 处理音频：用 ffmpeg 或者其他软件编辑音频，转为单声道然后再上传，也可以尝试转码为 wav 格式
3. 检查文本：检查参考文本是否有不支持的字符。同时，建议参考文本使用 "。" 号结尾（这是模型特性 😂）
4. 用 colab 创建：可以考虑使用 colab 环境来创建 spk 文件，最大限度减少运行环境导致的问题
5. TTS 测试：目前 webui tts 页面里，你可以直接上传参考音频，可以先测试音频和文本，调整之后，再生成 spk 文件

[zhzLuke96]

可以训练模型吗？

现在没有，本库主要是提供推理服务框架。
有计划增加一些训练相关的功能，但是预计不会太积极的推进。

---

ps: 可能支持一些训练支持工具，比如基于 whisper 这类 asr 模型预处理语料 （但是只会以example的形式出现，并不会继承到代码中）

[zhzLuke96]

如何优化推理速度？

首先，无特殊情况本库只计划整合和开发工程化方案，而对于模型推理优化比较依赖上游仓库或者社区实现
如果有好的推理优化欢迎提 issue 和 pr

现目前，最实际的优化是开启多 workers，启动 launch.py 脚本时开启 --workers N 以增加服务吞吐

还有其他待选不完善的提速优化，有兴趣的可尝试探索：

1. compile: 模型都支持 compile 加速，大约有 30% 增益，但是编译期很慢
2. flash_attn：使用 flash attn 加速，有支持（--flash_attn 参数），但是也不完善
3. vllm：未实现，待上游仓库更新
4. sdpa attention：经过我测试，毫无优化，有待进一步实验，可能是多模态模型所致

[zhzLuke96]

什么是 Prompt1 和 Prompt2？

仅限 ChatTTS

Prompt1 和 Prompt2 都是系统提示（system prompt），区别在于插入点不同。因为测试发现当前模型对第一个 [Stts] token 非常敏感，所以需要两个提示。

• Prompt1 插入到第一个 [Stts] 之前
• Prompt2 插入到第一个 [Stts] 之后

---

ps: 此特性将永久废弃，只会支持 prompt 一个属性，并且此属性并非所有模型都支持

[zhzLuke96]

什么是 Prefix？

仅限 ChatTTS

Prefix 主要用于控制模型的生成能力，类似于官方示例中的 refine prompt。这个 prefix 中应该只包含特殊的非语素 token，如 [laugh_0]、[oral_0]、[speed_0]、[break_0] 等。

---

ps: 此特性将永久废弃，不会继续更新和维护相关问题

[zhzLuke96]

Style 中 _p 的区别是什么？

Style 中带有 _p 的使用了 prompt + prefix，而不带 _p 的则只使用 prefix。

---

ps: 此特性将永久废弃，不会继续更新和维护相关问题

[zhzLuke96]

为什么开启了 --compile 很慢？

由于还未实现推理 padding 所以如果每次推理 shape 改变都可能触发 torch 进行 compile

暂时不建议开启

[zhzLuke96]

为什么 colab 里面非常慢只有 2 it/s ？

请确保使用 gpu 而非 cpu。

• 点击菜单栏 【修改】
• 点击 【笔记本设置】
• 选择 【硬件加速器】 => T4 GPU