【性能报告】Windows 11专业版下13900K + 4070ti性能汇报

[asasasasasbc]

感谢KT框架的开发者和贡献者。尝试在Windows上编译KT并加载DeepSeek-R1-UD-IQ1_S量化的DeepSeek-R1，交份（比较简陋的）成绩单。

硬件环境：

CPU：13900K（AVX2、已缩杠降压）
RAM：DDR5 48GB 4800 MT/s x4
GPU：NVIDIA RTX 4070ti (12GB VRAM)
平台：ASUS Z790 A 吹雪
软件环境：

OS：Windows 11 Pro
显卡驱动： 572.61
CUDA：(python torch环境)CUDA Toolkit 12.4

模型：

GGUF：来自Unsloth仓库的1.58bit量化版本DeepSeek R1 671b
启动命令行：py -3.11 -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path D:\LMStudioModels\Models\DeepSeek1.5Q_S

提问：你好，介绍下你自己

KT性能：
prompt eval count: 10 token(s)
prompt eval duration: 1.9297025203704834s
prompt eval rate: 5.182145897845488 tokens/s
eval count: 300 token(s)
eval duration: 59.24525785446167s
eval rate: 5.063696418318609 tokens/s

更深度的测试数据暂时还未来得及测试，后续如有需要会提供

[mushilianmeng]

您这个内存+显存都没有400G，请问是如何部署成功的？

[shaken154]

我的电脑配置：i5 12400、D5 192G、RTX2080TI22G，目前在win10上能用LM Studio运行模型：
DeepSeek-V2.5-1210-Q5_K_M、DeepSeek-R1-UD-IQ1_M，如何在ubuntu24桌面版系统运行，这些「cuda、python、torch、ktransformers」的版本如何选择？我想直接用ktransformers-0.2.0+cu124torch24avx2-cp312-cp312-linux_x86_64.whl这种文件直接安装，最好优先用whl文件安装，你有这两个模型的详细的安装步骤？你的1.58bit是如何部署的？

[asasasasasbc]

我的电脑配置：i5 12400、D5 192G、RTX2080TI22G，目前在win10上能用LM Studio运行模型： DeepSeek-V2.5-1210-Q5_K_M、DeepSeek-R1-UD-IQ1_M，如何在ubuntu24桌面版系统运行，这些「cuda、python、torch、ktransformers」的版本如何选择？我想直接用ktransformers-0.2.0+cu124torch24avx2-cp312-cp312-linux_x86_64.whl这种文件直接安装，最好优先用whl文件安装，你有这两个模型的详细的安装步骤？你的1.58bit是如何部署的？
我也没试过在Ubuntu运行这个KTransformer，我是在windows上安装的CU124+torch12.4 avx2 cp211 的whl的（用的是原生的python3.11，没有用anaconda之类的东西，各种库都是py -3.11 -m pip 安装的），配合上windows python3.11的12.4torch 和 12.4 CUDA Toolkit，然后记得安装其它安装教程里要安装的whl，最后就可以直接运行了。Ubuntu我也在研究，后续可能会在Ubuntu部署。

[shaken154]

win10中用ktransformers0.2.0.whl部署DeepSeek-R1-1.73bit.txt
还是不行，是少了什么步骤？还是版本不对。

[supermy]

RTX2080 GPU 不支持吧？

[asasasasasbc]

win10中用ktransformers0.2.0.whl部署DeepSeek-R1-1.73bit.txt 还是不行，是少了什么步骤？还是版本不对。

看你这个报错好像是Conda环境Channel问题，试试看不用conda

[wangminle]

谢谢分享，一直在等对消费级CPU的支持哈，我的配置与你相似，14700K+192GB D5-5600+3090x2；准备尝试一下后同步结果。