使用最新的代码版本和openaudio-s1-mini模型比之前的1.5的版本推理速度变慢许多 #1046
-
|
在windows,3060上之前编译加速有100token/s，更新之后只有20-40tokens/s |
Beta Was this translation helpful? Give feedback.
Replies: 3 comments 8 replies
-
|
这是预期行为，因为S1增加了codebook数量，vocoder参数也有增加。 |
Beta Was this translation helpful? Give feedback.
-
|
我使用最新代码然后指定1.5模型也会 变慢许多，我用之前1.5版本的代码使用s1模型速度不会有变化但是声音音色还是不稳定。应该怎样解决呢 |
Beta Was this translation helpful? Give feedback.
-
|
你好，还有个问题，就是我使用4090 24g显卡时，语音服务跑到后面时占用了12G的显存，导致后面推理速度变成了30tokens/s，服务越跑推理速度越慢 |
Beta Was this translation helpful? Give feedback.
-
|
------------------ 原始邮件 ------------------
发件人: "fishaudio/fish-speech" ***@***.***>;
发送时间: 2025年6月18日(星期三) 中午11:02
***@***.***>;
***@***.******@***.***>;
主题: Re: [fishaudio/fish-speech] 使用最新的代码版本和openaudio-s1-mini模型比之前的1.5的版本推理速度变慢许多 (Discussion #1046)
这是预期行为，因为S1增加了codebook数量，vocoder参数也有增加。
Message ID: ***@***.***>
回：我使用最新代码然后指定1.5模型也会 变慢许多，我用之前1.5版本的代码使用s1模型速度不会有变化但是声音音色还是不稳定。应该怎样解决呢
|
Beta Was this translation helpful? Give feedback.
-
|
新代码和旧模型不兼容，指定版本的模型应该使用对应版本的代码。 |
Beta Was this translation helpful? Give feedback.
-
Buy more GPU :) |
Beta Was this translation helpful? Give feedback.
-
|
目前有4090 24G跟3080ti 16G还有4060ti 16G分别都测试过，其他三个对比之前的推理速度是减少了一半 50tokens/s，就3060 12g速度缩减了四分之一。还能优化提速吗 |
Beta Was this translation helpful? Give feedback.
-
我们精力有限，无法针对所有的GPU型号进行优化，您有能力的话欢迎PR |
Beta Was this translation helpful? Give feedback.
-
|
辛苦了 |
Beta Was this translation helpful? Give feedback.
-
|
主要逻辑代码在哪个文件，可以教导一下嘛 |
Beta Was this translation helpful? Give feedback.
这是预期行为，因为S1增加了codebook数量，vocoder参数也有增加。