deepseek v3可以服务器部署吗，有教程吗
ollama可以部署
好像刚刚ollma推出了deepseek的模型
一般人部署成本 > 你直接买官方 api 的成本
结案 ( ⩌ ˰ ⩌)+
5 个赞
主要不是教程，是服务器够不够硬
有教程吗哥
啥时候啊
所以不清楚这块大概需要什么配置呢
查了一下，deepseek有6000多亿参数。得要三十几块a100才能跑
由于禁运了，大概一块十几万吧，不过也没有正常渠道买
你要是有背景且家里有几个亿，可以考虑在服务器上部署一下 记得抽奖送给佬友
1 个赞
671B的DeepSeek V3本地运行，由于DeepSeek的框架原生采用 FP8 训练，因此仅提供 FP8 权重，预估仅700GB+显存便可轻松运行。
当然也可以转换到BF16，在半精度下，需1400GB+
量化到int4时需要300GB+
1 个赞
推荐配置 8 * H200，4bit 量化后也需要 400G 以上，即使上手段，至少也需要 200G 以上才勉勉强强吧（200G 这个不保证可行）
Q2_K_XS should run ok in ~40GB of CPU / GPU VRAM with automatic llama.cpp offloading. 这应该是最低要求了。DeepSeek的api这么便宜，为什么要本地部署
github或抱脸上好像有简单的介绍的
深度搜索-ai/深度搜索-V3
2bit 量化没兴趣，最低也要 4bit 吧
没有必须本地部署吧？ 太杀精啊~~
仅需800G+的显存就可以私有化部署。。。
我很怀疑楼主是根本就不懂自建deepseek是什么概念，以为就是随便买了小鸡，建个网页那样。
1 个赞
你说得对 所以问下佬友
应该说的是调用 api 后的页面部署，对大模型没有概念。
自己部署啊？这个太大了吧