公司给配的工作站，佬们帮忙看看可以本地部署多大的模型

搞七捻三
,
1

配置清单：

  • CPU：英特尔 Xeon(R) Gold 6240 , 36核72线程
  • 内存：512g
  • 显卡：两张英伟达 RTX A5000，每张是24G显存

佬们有什么模型推荐?

image
image405×556 9.08 KB

6 个赞
2

qwen235b :distorted_face:

2 个赞
3

能搞这么大的？

1 个赞
4

32b 还得,.,

2 个赞
5

只用GPU推理？还是用CPU？

1 个赞
6

还得什么？有哪个模型推荐吗

7

哪个效果好就用哪个，我也不太懂

8

应该可以，好像可以卸载一部分到内存啊 :distorted_face:

1 个赞
9

开源的就这几个吧

image
image1878×1117 234 KB

10

内存大就是好，70b模型加量化都能跑

1 个赞
11

考虑跑的快,70b量化够了,但是慢, 最好用vllm 差不多可以并发qwen 32b

12

我去研究研究

1 个赞
13

这些参数量都有些大吧，不一定能跑起来吧，主要是想看看极限能部署哪个参数量的模型

14

看用途和使用人数，人数不多可以部署满血的qwen/ds

15

就是慢一点是吧？

1 个赞
16

好的，谢谢佬，意思是32b的快，70b量化的慢一点？

17

这台工作站我一个人使用，没有其他人用

18

48gb vram

大一點的都要上內存

速度上差了點但是還能跑很多大模型的 8 bit量化

羨慕了

家裡只有40 gb vram 128gb內存

19

直接部署满血版就完事了，qwen 不太清楚，ds这机器感觉应该能跑到10t/s

20

应该不满，gpu 70b 没加cpu