关于服务器部署大模型

各位佬,想问问大家有什么推荐的国内云服务器平台部署开源大模型,目前尝试了千帆平台,看各位佬友有没有其他推荐,也请教一下各位部署deepseek 32B,70B和671B都用的什么硬件。

2 个赞

预算多少,服务器部署大模型,尤其是满血,还输出快的话,这可不是个人能承受的起的数目

所以目前主要还是想再云服务器上跑跑效果,有几个大公司给介绍的一体机实在是太离谱了价格 :joy:

和我们这边类似,我们这边也想先在云上试试,你那边一体机的报价是多少?

支持70B的推理一体机报价二百多万一年。。。

正常。。。

先找公司要 1k 预算,找平台租用部署看看效果,再计算这个配置的价格

这是论坛里一位老哥的回贴,给你参考一下

1 个赞

感谢佬!

关键是这200一年还不包带宽,IDC和维保

目前就是看各位有没有更多云服务平台的推荐看看效果

另一位老哥的,


1 个赞

如需腾讯云的话可以喊我哈~有优惠!

感谢佬友分享

为什么我这里报价的才30~50w

只是跑跑效果,直接用 API 不就行了。

看报的是什么配置吧,大头还是GPU,
看论坛里发的,三五十万应该是70B的配置

如果仅仅是体验,70B 左右的模型,搞一台 Mac Studio 顶配(192GB)最简单实惠,不过,如果要上多用户生产环境,性能就有点差强人意了,如果不急,可以等 M4 Ultra 出来,性能还会提升不少:joy:

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。