EPYC 9654 复现成功kt0.2.3post2，并汇报下成绩

[CYSTEV-chn]

硬件:
CPU：epyc96541
主板：技嘉MZ33-AR0
内存：三星DDR5 64G12
显卡：4090 24G涡轮
硬盘：三星M.2 4T
机箱：纸皮ATX机箱
电源：长城金牌2200W
垃圾主板内存位档显卡，又加装一块PCIE16的延长线
BIOS：NSP=1，SMT关，AVX512开，核心数auto

OS1:win server2022
OS2:ubuntu 24.04
驱动:nvidia 570
cuda toolkit:12.4.1
python:3.12
GIT
openai库
flashinfer
AI model:从抱脸上拖下来的 unsloth deepseek-671B-Q4分层gguf格式文件

启动命令：
export HF_ENDPOINT="https://hf-mirror.com"
python -m ktransformers.local_chat
--model_path deepseek-ai/DeepSeek-R1
--gguf_path /home/dministrator/models/DeepSeek-R1-Q4_K_M
--max_new_tokens 4096
--total_context 102800
--cpu_infer 84
--cache_q4 true
--temperature 0.6
--top_p 0.95

测试环境：
OS1:wsl2 ubuntu
ktransformers0.2.3post2-fancy

OS2：ubuntu
ktransformers0.2.3post2-fancy

local chat mode:
提示词：请说一段50字以内的笑话。

OS1:eval 9tps
OS2:eval 14.02tps

结论:原生ubuntu下，生成的tps速度大约比win或者win wsl2、docker、anaconda、msvc等虚拟环境下要快上40-55%
感谢KT团队，感谢ubuntu一键脚本安装KT作者maaaxinfinity

[abfmwei]

你这个速度不错，基本可以愉快的使用了。

可以试一下Unsloth Q2_K_XL的速度吗？我在决定是不是要把内存扩充到可以运行Q4

https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main/DeepSeek-R1-UD-Q2_K_XL

[CYSTEV-chn]

模型越小，速度越快，我在下载671B-fp8的模型，我更好奇这个的推理速度能有多快

[CYSTEV-chn]

你这个速度不错，基本可以愉快的使用了。

可以试一下Unsloth Q2_K_XL的速度吗？我在决定是不是要把内存扩充到可以运行Q4

https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main/DeepSeek-R1-UD-Q2_K_XL

我下了3天才搞定这个全量版的模型，没按KT说的去重新定位配置yaml文件载入，还是按Q4的载入，预设128K上下文，max new tokens设置在8192。
https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main/DeepSeek-R1-Q8_0

test1
提问：说个50字的小笑话
prefill 16.9
decode 8.9

test2
提问：一段2356tokens的文章，带上本地知识库，让DS帮我检查错别字和语句不通的地方
DS回复了6619tokens
prefill 98.16
decode 6.15

还是Q4跑着最舒服。

[fabairim]

prefill是否有点慢了，更长的prompt也是这么慢吗

[CYSTEV-chn]

日常工作中带了RAG和1300字左右的prompt下，decode:11.02tps，prefill:111.12