本地部署deepseek 671b要多少钱?
客观的,能正常用。
上百万?
1 个赞
之前看过计帐大概是 200 万好像。
只管部署不管实用的话有跑在 RAM 的案例,就是显存不算太大内存条 500G ↑,但这种属于搭着玩的测试。
1 个赞
要是从无到有的话,其实这中间要花的钱可比纯硬件要多些
1 个赞
思考过程,普遍认为 显存少说 8张A100
2 个赞
看你要多快的速度啊
两千也可以,一万块也行,200万也不错
首先,你要有一个500g+的内存(不是磁盘空间,是内存),然后你至少要有一个4090(使用清华的KTransform)。至少需要5w+吧,仅仅能用的程度的话
一千两千吧,买个够大的硬盘就行,直接用虚拟内存跑,一天一两行字 ![]()
18 个赞
好几万勉强能用?
关注一下,我们公司也有这需求
清华的那个4090部署是不是最近才出来的,我好像刷到过有关信息但没详细看
这多少有点搞心态了
对的,b站有视频教部署
那种纯玩票的,当不了生产力 ![]()
1 个赞
佬友好快的回,我就是在啊b刷到的,但是总感觉那有点营销号所以当时就没看,等会去了解了解 ![]()
1 个赞
autodl 测试设置:deepseek-r1 671b 4bit量化版(其实是4.8bit)
vGPU-32GB * 4卡,4x90GB 内存,¥6.66/小时
数据盘 400G + 免费 50GB, 每天 ¥2.24
24小时跑的话每天 ¥162.08
全部在GPU里跑需13xvGPU-32GB, 每天 ¥524
3 个赞
满血的要300万起了
还是放弃这个念头吧,不止是钱,还有电费,散热等等问题呢
1 个赞
想要舒服点8张a100是必须的