小佬弟码农一枚，想研究研究当下流行的技术。
手里有4，5块3090。想着看看能不能废物利用，
组个炼丹炉跑下deepseek r1:70b研究一下，
于是问题来了，CPU和主板怎么选？
选x99还是x299还是其他？
所以想问下佬友们有没有建议，
板子定了基本cpu内存啥的都可以定了。
然后炼丹炉肯定放公司，基本也是给公司用。
显卡是小佬弟以前矿机上拆下来的。
每张卡都做了CNC铝板散热+水冷，
所以拿来炼丹问题不大。
然后我内心缓缓升起一个想法，
这么麻烦为啥不直接买api拿来调用呢？
哈哈哈，好纠结。佬友说说都有啥看法？
16 个赞
用api，70b的和原版差太多，原本也不是几块3090能跑的。
而且用原版模型一般人没有任何自己跑的理由，除非你要做什么见不得光的或者隐私狂魔
研究技术不如拿3090跑微调，跑通流程来学习一下
1 个赞
本地部署内存和显卡显存要求都挺大的，如果有就弄。如果差比较远，就 API 可能还更省钱 
这种估计api会便宜一些…?
本地养个小模型.任务就是调用api，提交数据的时候脱密
确实，研究的方向或许应该为私有部署做准备
api吧
如果是自己有卡的话还是可以弄个超威主板上4张3090搞个私有化部署的。8张卡就可以跑全量的70b模型，4张也完全可以推理8bit量化的70模型了。可以装个dify相互对比一下满血跟70b模型的差距，也能在api挂的时候临时扛一扛。
不过4卡的机器恐怕很费电，而且噪音很大因为风冷吹的太猛，如果是个人家庭的话慎重考虑。
微调的话硬件不是问题了，但数据恐怕不好搞。数据量少了微调没意义的。
离线部署都是给企业内网准备的，不适合个人用户
毕竟你一天就问那么几次，却要承担机器24H运行的成本。
没有强烈的隐私需求或者商业机密
都是买Api划算，响应速度和可用性都更好
佬，deepseek开源微调库了吗
专业的事交给专业的人
你想微调680b？
买api
2 个赞
你这只能跑量化的70B
公司内部自部署，关键还是对隐私数据的要求吧。否则用api（而且可以综合多家的api）使用更方便
70b没有什么意思，现在cerebras，groq，sambanova上面都是70b的蒸馏版，感觉差671b很多。这几个平台吐token那是杠杠的，就是模型质量不行。你这几张卡肯定差远了。。。。
要研究技术当然是在本地部署了，调API可研究的东西比本地部署差远了。fine-tuning、量化、GRPO、各种推理框架本地部署都能尝试。
买api更方便
此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。