有懂服务器配置的佬帮忙看看嘛

开发调优
,
1

❯ 医疗项目，要找服务器配置。这是基本信息，有懂的佬帮我评估一下或者给点建议吗。

现在甲方要求自行采购服务器，需要考虑：日门诊2000次，需考虑冗余，并发
以蚂蚁安诊大模型（100B）/Qwen2.5-72B-Instruct为例，生产环境配置要求。。。基于这样的需求，以下配的服务器，帮我分析一下，是否能满足？

H3C UniServer R5300 G6 PCIe CTO服务器;
2 * 6530(2.1GHz/32核/160MB/270W)CPU模块(CTO&BTO);
8 * 64GB 2Rx4 DDR5-5600B(CAS-46-45-45)RDIMM内存模块(CTO&BTO);
24 * DDR5假内存模块(CMCTO);
H3C UniServer R5300 G6 12LFF硬盘扩展模块(CMCTO);
5 * 1.92TB PCIe4.0 x4 NVMe U.2 3.5in RI SSD UCC通用硬盘模块(GC)(CMCTO);
H3C UniServer R5300 G6 8GPU Switch计算模块(CTO&BTO);
P460-B4 12G SAS RAID卡模块(支持8个SAS Port,带4GB缓存,不含超级电容)(CMCTO);
PMC G3超级电容模块(应用在2U标卡)(CTO&BTO);
4 * NVIDIA 48G PCIe4.0 X16 FHFL GPU模块(CTO&BTO);
2 * 1端口200Gb/s PCIe 4.0 x16 QSFP56光接口MetaScale-200S LP以太网卡(云脉YSA-100)(CTO&BTO);
2 * 200G QSFP56以太网多模光模块(850nm,100m OM4,70m OM3,SR4,MPO12/UPC)(CTO&BTO);
4 * 2000W 交流&240V高压直流 电源模块 (白金-轻载高效) (CMCTO)

补充一下：GPU型号：rtx pro 6000d，也可以是A100/H100

4 个赞
2

先在线上按量付费验证一下相似配置的机器是否可以正常运行。
再模拟业务压测一下，可以的话采购就行了。

1 个赞
3

楼上说的是个办法。

A 系统的一万并发和B系统的一万并发的资源需求可能差距巨大。

除非是通用型的业务系统，或者哪位佬正巧熟悉这个，不然陌生人给你的意见比黑暗中闭着眼给你指路强不了太多

2 个赞
4

现在已经不是以往。看硬件信息来采购了。没有验证真的没法给你意见

1 个赞
5

我自己在用rtx pro 6000 workstation edition,跑最新的qwen3.5-35B-A3B BF16 256K上下文启动就干掉70多G,这还是纯基座模型,还没算上embedding和rag的rerank等乱七八糟的,你确认你拿一个阉割版的6000D跑72B?

1 个赞
6

嗯嗯佬是对的，所以后来把这个选项排除了 :smiling_face_with_tear: