DeepSeek-R1满血大概需要什么配置和成本才能跑起来？

搞七捻三
,
1

公司让评估一下成本。我去huggingface看了一眼，非量化版本有700GB大小，如果是A100(80GB版本)需要10张起步(2个8卡一体机)？910B4(32GB版本)需要22张(3台8卡一体机）？

请问我这样算合不合适，请佬友给解答一下，万分感谢

1 个赞
2

A100
16张卡

3

差不多，2 台 8 卡 H200 这样水平吧，差不多就是机器预算在 300 万左右，其它另算 :bili_017:

4

image
image781×566 38.7 KB

之前调研的比较低成本的方案

2 个赞
5

这个也差不多，勉强够用 :sweat_smile:

6

你别忘了问领导要多长的上下文，输出速度要多少，机柜有几个位置，交换机支持万兆吗

3 个赞
7

非要跑，Mac的统一内存架构其实也行 :tieba_087:

8

哈哈哈，老友果然专业。但是目前就是问一嘴

1 个赞
9

问了下R1，它说不够:tieba_007:

image
image1544×460 53.3 KB

10

量化（int4）版本一台顶配 M3 Ultra Mac Studio 就能跑（硬件成本11w，但是 Apple Silicon 的极致能效比能将电费压低），虽然我没有 :rofl:

11

AIGC 要截图发帖

12

能跑和能用还是有差距的，一两个人玩玩，没有性能要求还撮合，如果上生产环境，就差很多了

13

感谢提醒，已修改

1 个赞
14

巧了，最近刚做了这块，脱敏的说一下的话，BF16 用了 1.4T 的显存。。真跑起来时候还是很愕然

15

H100 *16 实际我部署是 H100 *8 一台工作站 因为两台要走交换机 没折腾明白 2333
搞起来也就玩玩 就吃灰了 自己折腾 有太多坑踩了

16

很早以前有佬友发过部署方案

17

好的佬 等这段时间忙完 我再折腾一下 谢谢佬

1 个赞
18

1 张 A100 + 1T 内存跑的 671B 的 4bit 量化版

DeepSeek-R1
DeepSeek-R12058×1316 403 KB

19

有个在线计算工具，佬友可以参考一下：DeepSeek 企业部署服务器配置计算器

3 个赞
20

之前b站关注的up,可以参考参考