如题，本来想配一台电脑打游戏，但是自从deepseek R1出来之后发现拿来写皇叔有点意思，于是想增点预算，顺带跑下deepseek 32B/70B左右的模型（api会出现审查，只能本地跑）。
原来设想的是12代i5+12G 3050显卡，128G内存（32*4），整体4~5千差不多能买下来，但是又多了个大模型，想问问佬们，能不能加一点预算，能更好地跑大模型呢？5090、4090这种是真的买不起 
可以接受二手，但是怕买到矿，大模型跑在矿卡上我是真怕哪天炸了再
感激不尽！
额 32B还能想想 70B不可能的 32B都要3080 3090了
预算有限其实可以考虑买24G的Tesla然后堆内存。。
跑个32B可以的
踏踏实实买游戏机~大模型本地跑很费钱的，直接api走起就是了。
主要是对输出速度不是很在意，毕竟官网整天服务器繁忙，请稍后再试
个人想法是能跑起来就行
担心买矿卡吗就直接买矿卡。
写什么？我没看错吧 
因为想拿deepseek搞涩涩，这几天试过了好多家的api都有审查 只能考虑本地部署了
关键是没法用才是最重要的 32B的效果很差很差
没有几十个w，不建议自己跑
除非是玩玩而已。
有点异想天开了，预算低别想了， 32B 起码24G显存，你看看这个显卡有没有多少钱
可以用系统内存分担一部分显存要求吗
想的是32G ddr4插满，也就一千多，能堆到128G，看了圈民用主板差不多也就最高四槽了
对就是搞涩涩 
要不我就用api了，这不是用不了api嘛
3050有12G的吗？
你这预算只能上的洋垃圾+计算卡
上民用显卡根本不够，除非矿卡
我刚配了一套tsl的 p100，刚装好系统，整套配下来不到3k 24G显存， 内存16*4
x99主板
我本机的4070Ti 跑70b都很明显感觉很慢 （可能跟我内存也有点小有关系）
跑这种蒸馏模型毛用没有啊。 也不能变现了现在
使用ollama 跑70b q4约需要40G显存，想用的话起码得50G显存，当然纯cpu的话也不是不行。如果你是使用huihui_ai/deepseek-r1-abliterated:70b这个版本，模型本身就没拿相关数据进行训练，虽然不会拒绝回答，但是他词库里压根就没有那些词懂吧，顶多就是擦边，况且智力水平感觉还没原版好。
技术向善啊佬~
是穿肠毒药
是刮骨钢刀
如果真的又穷又想的话…22G的魔改2080Ti吧，大概2000-2500一张勉强能跑4bit的32b-r1
要不就干脆放弃gpu推理，改用cpu，那速度就慢了许多。一秒钟蹦3字还没你的速度快呢…
啊打错了，我看的七彩虹3060 12G，或者加点钱上4060…?
你只要不嫌慢就行，我感觉会很慢
@xiaolinkangna 来活了
2 个赞