看到有人问域名主机怎么部署Deepseek,然后我就在想虚拟主机都可以,那服务器岂不是也可以,谁部署过,求分享教程谢谢
4 个赞
ollama
当然可以 但是服务器没有显卡呀
没有GPU环境,跑起来也是非常卡的
不如直接去掉英伟达或者硅基的接口了
带显卡的服务器很贵的,自用不划算
1 个赞
1.5或者7B的拿CPU可以勉强跑跑
部署个open-webui
pip install open-webui
1 个赞
build.nvidia.com上的gpu服务器相对便宜一点。
自研的强力GPU L40S,48G,一小时1.7美元。
你需要购买带GPU的服务器,才可以畅玩哦,这会很贵,一般普通人是玩不起的!
你要部署多大的模型呢
没gpu跑起来卡死
最多酒30b的
官方的671b的
你本地部署没几十万,玩不了
老实用api
只能说玩过就删
很傻,很卡,很垃圾
ollama目前并发效果咋样?
此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。