语音生成平均耗时1.6秒,如何提升响应速度

[GanziPo]

问题描述:

•   语音生成平均耗时1.6+秒,如何提升响应速度优化使用体验
  

配置信息:

device : cuda
is_half : True
version : v2
t2s_weights_path : GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s1bert25hz-5kh-longer-epoch=12-step=369668.ckpt
vits_weights_path : GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2G2333k.pth
bert_base_path : GPT_SoVITS/pretrained_models/chinese-roberta-wwm-ext-large
cnhuhbert_base_path : GPT_SoVITS/pretrained_models/chinese-hubert-base
并行推理模式已开启
分桶处理模式已开启

环境信息:

CPU :Intel(R) Xeon(R) Platinum 8336C CPU @ 2.30GHz
GPU :NVIDIA A2 16GB
MEM :64GB

部署方式:

源码运行

API访问参数:

{
'text': '中国大陆一共有31个省份啦！',
'text_lang': 'zh',
'ref_audio_path': '/tmp/renzhichu_peiqi.wav',
'aux_ref_audio_paths': [],
'prompt_text': '人之初，性本善。性相近，习相远。',
'prompt_lang': 'zh',
'top_k': 5,
'top_p': 1.0,
'temperature': 1.0,
'text_split_method': 'cut0',
'batch_size': 1,
'batch_threshold': 0.75,
'split_bucket': True,
'return_fragment': False,
'speed_factor': 1.0,
'streaming_mode': False,
'seed': -1,
'parallel_infer': True,
'repetition_penalty': 1.35
}

[chenkai89]

@GanziPo 我是在外面使用队列处理的，效果还可以

[wakaba0972]

@GanziPo 推理時進入工作管理員，找到記憶體使用量最高的那個python.exe，將優先順序調高試試