模型运行时间优化 #55
Description
您好，在使用luhua/chinese_pretrain_mrc_roberta_wwm_ext_large模型进行本地知识库的问答时，精确度较高，就是因为本地知识库太大导致模型答案返回时间较长（32G的显存用时40S+），请问除了提高硬件设备的性能，还有其他方法或者建议来加速模型的计算速度么？盼回复，谢谢！
{{ message }}
您好，在使用luhua/chinese_pretrain_mrc_roberta_wwm_ext_large模型进行本地知识库的问答时，精确度较高，就是因为本地知识库太大导致模型答案返回时间较长（32G的显存用时40S+），请问除了提高硬件设备的性能，还有其他方法或者建议来加速模型的计算速度么？盼回复，谢谢！