文档:本地大模型部署 #158
Answered
by
xerrors
Gjt20021214
asked this question in
Q&A
文档:本地大模型部署
#158
-
建议本地大模型部署方法可以详细一些,还没这么明白怎么本地部署 |
Beta Was this translation helpful? Give feedback.
Answered by
xerrors
Apr 18, 2025
Replies: 2 comments
-
项目本身是和大模型部署解耦的,可以按照目前比较通用的部署方法,比如 Ollama、vLLM. Ollama 网上的部署教程很多,比如:https://zhuanlan.zhihu.com/p/690046494 (供参考) 部署完成之后都会产生对应的 url 接口,然后在设置里面添加自定义模型就可以了。 其实,如果是作为个人使用而不是二次开发,且不涉及只是图谱的话,cherrystudio 是个非常优秀的项目,这个用来日常使用的效果还是不错的。 |
Beta Was this translation helpful? Give feedback.
0 replies
Answer selected by
xerrors
-
好的感谢 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
项目本身是和大模型部署解耦的,可以按照目前比较通用的部署方法,比如 Ollama、vLLM.
Ollama 网上的部署教程很多,比如:https://zhuanlan.zhihu.com/p/690046494 (供参考)
部署完成之后都会产生对应的 url 接口,然后在设置里面添加自定义模型就可以了。
其实,如果是作为个人使用而不是二次开发,且不涉及只是图谱的话,cherrystudio 是个非常优秀的项目,这个用来日常使用的效果还是不错的。