佬们，DeepSeek-R1-14B本地模型部署的供10人使用的配置求推荐

搞七捻三
1

佬们，我朋友想部署DeepSeek-R1-14B本地模型加上知识图谱给 实验室10个人使用 求配置推荐

2

没有现成的设备？那建议用买设备的钱买 API 上更好的模型吧。

3

其实vllm+32GB显存基本够满足并发需求了，只要上下文不是超长都不会出问题

4

14b这不是玩具吗

5

有没有一种错觉，本地部署的比较符合自己的需求？14B啊，体验感拉满，妥妥的小玩具

6

有些数据属于内部机密嘛

7

没办法 预算不足

8

好的 我去看下 谢谢佬

9

我这边之前离线内网 两张a100 40G+40G
用的ollama。
部署r1-70b 会占满，也就一两个人用，模型能力…也就玩玩。换了32b能力更差。
现在用的qwen2.5-14b insturct-1m-q8 就占17G显存。十几个人用，速度可以，就简单问题用用。
应用现在就sgpt终端便捷调用，jetbrain、vscode插件调用、obsidian调用…
知识库用的maxkb，改下后端django序列化器部分解除限制多人使用。

2 个赞
10

谢谢佬 就是使用M4 pro 64的处理器跑14b可以不

11

我自己的4060TI 8G版本地跑个人玩没啥问题，10人并发不清楚 16G也许差不多？

12

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。