求192G内存的消费电脑部署KT的教程？

[shaken154]

我的电脑配置：i5 12400、D5 192G、RTX2080TI22G，目前在win10上能用LM Studio运行模型：
DeepSeek-V2.5-1210-Q5_K_M、DeepSeek-R1-UD-IQ1_M，如何在ubuntu24桌面版系统运行，这些「cuda、python、torch、ktransformers」的版本如何选择？我想直接用ktransformers-0.2.0+cu124torch24avx2-cp312-cp312-linux_x86_64.whl这种文件直接安装，最好优先用whl文件安装，有没有哪位大佬有这两个模型的详细的安装步骤？能否为目前消费级电脑支持的最大内存192G单独写一些100G以上模型的详细的部署教程「尽量用whl文件安装」？大部分用户不可能单独装一个服务器去跑模型，但会去升级主力电脑。

[asasasasasbc]

https://zhuanlan.zhihu.com/p/30831506128

[shaken154]

验证显卡【部署ktransformers量化模型的必需条件】：
python -c "import sys,torch;print(sys.executable);print('CUDA可用：',end='');print(torch.cuda.is_available());print('GPU型号：',end='');print(torch.cuda.get_device_name(0));print('GPU的计算能力：',end='');print(torch.cuda.get_device_capability(0));print('\033[34m注意Marlin量化的兼容性：\n您可能正在尝试使用Marlin量化格式(IQ1_S)，例如Q1到Q8，\nMarlin目前仅支持特定GPU架构（如Ampere/Ada Lovelace架构，即计算能力8.0+），\n如果您的GPU较旧（如Turing架构的RTX 20系列以及之前的GPU），可能不支持该量化格式。\033[0m')"

RTX2080TI不支持，此贴终结。