本地运行ChatGLM3速度很慢 #1041
本地运行ChatGLM3速度很慢
#1041
-
|
本地运行ChatGLM3速度很慢 问一个问题要3.4分钟分钟才回答，在网上没查到解决方法，求助各位大佬 |
Beta Was this translation helpful? Give feedback.
Answered by
zRzRzRzRzRzRzR
May 7, 2024
Replies: 3 comments
-
|
我发现不用量化反而会快很多。但还是特别慢。不知道你找到办法没有？ |
Beta Was this translation helpful? Give feedback.
0 replies
-
|
我这最后发现就是没量化 量化之后速度就正常了
…---- 回复的原邮件 ----
| 发件人 | Rui ***@***.***> |
| 发送日期 | 2024年05月05日 07:00 |
| 收件人 | THUDM/ChatGLM3 ***@***.***> |
| 抄送人 | Tan ***@***.***>,
Author ***@***.***> |
| 主题 | Re: [THUDM/ChatGLM3] 本地运行ChatGLM3速度很慢 (Discussion #1041) |
我发现不用量化反而会快很多。但还是特别慢。不知道你找到办法没有？
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
|
Beta Was this translation helpful? Give feedback.
0 replies
-
|
如果配置不够，推荐使用量化版本 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
zRzRzRzRzRzRzR
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
如果配置不够，推荐使用量化版本