公司说要搭建，前端设计稿都出来了，明天评审。接入企业OA内部
公司世界五百强，应该是有实力的。 不知道是不是 在和我吹牛逼，随便搭建个30B啥的来糊弄人
9 个赞
1.3t显存吧，比如16卡a100
1 个赞
论坛里有一个32a100并联的
按照一刀1h粗略算的话大概100多rmb每小时
电费吗！！！
刚刚公司产品绝对骗我了， 估计就是个32B糊弄人的
1 个赞
你的这个满血标题在今天的L站似乎有点微妙~考虑并发的话100rmb估计不太够哦
2 个赞
7b手机就可以跑)
要只是接入不是自己部署的话用api就行了，自己部署除了保密性要求极高的场合其他都没必要吧
集团内部，他们都要这样。有自己的发电站，不用担心电费
首先说下什么叫满血
按照deepseek官网发布在huggingface上的671b模型来计算，16位精度的模型大概是1.4TB，如果按照单卡80G显存的A100计算，这就至少得18张卡还得配上nvlink，还得有200G带宽的IB交换机，再考虑前端RAG，存储服务等等吧。¥400万私有化部署真正满血的671b-r1模型是比较保守的了。
11 个赞
400万那还好，关键是A100 管制了，不知道现在多少钱。
到位都不叫问题，A100、A800、H100、H800甚至最新的H200，搞3-5台都是有货的
32张A100，16张H100或H800或H20，8张H200，这三种配置都可以跑起来
1 个赞
哈哈。确定是本地部署吗？其实要本地部署不难，即使部署完整版。但我觉得要考虑一般人的使用感受，比如全单位人员一起使用的话，能否扛得住？
恐怖如斯
他这要集团一起用，应该是开放1000个名额
满血版没有必要吧，除非公司特别有钱
有没有公司内部部署使用的合理方案，主要是数据保密安全
对于500强企业来说，只要能解决问题，那几百万的预算还是可以给批的。只不过就是各种过会，N多人讨论，签字批OA