请教一下关于deepseek r1+本地知识库的问题?

被赶鸭子上架,领导拍脑袋想要deepseekr1+搭建本地知识库,在局域网内,多用户离线使用,有哪些具体部署方案?没有运维经验,有没有大佬推荐一下部署方案!感谢感谢:pray: :joy:预算估计在5万左右,团队估计8人左右,想跑 32b模型不知道能否实现?

2 个赞

ollama+deepseekr1,就好了,然后搭配一个page assist的浏览器插件,就ok了

1 个赞

5万块钱部署出来的东西真的能用吗?

建议先用一些不重要的文档,配合在线API的方式,调用7B、8B的模型让领导知难而退。

1 个赞

谢谢解答!处理pdf txt等格式的嵌入式模型需要单独部署么?局域网内的用户,在电脑上安装这个插件,就能直接调用r1模型和知识库使用了吗

1 个赞

哦哦,部署32b的模型,大概需要多少钱呢

1 个赞

上2张4090卡,就行了

1 个赞

我记得看到过说5万左右就能部署,但体验不太好说,因为这东西和并发还有关系,另外市面上的知识库系统也是要收费的

1 个赞

我看2张4090,京东上5万应该差不多呀 :rofl:

2 个赞

直接用API吧,没必要折腾

知识库用fastgpt或者dify 1.0都可以

嗯,现在对知识库相关了解不够多。

局域网调用可以再研究一下,插件应是直接调用本地模型,处理pdf模型直接可以和r1部署一台服务器上就行吧

只能离线用呀,我也想api最简省事:upside_down_face:

32B弄个48G显卡即可,8人并发够了

是不多啊,但这只是可用,答复速度和流畅的略有缺失

可以先拿一点费用买短时间的云服务部署32B模型测试一下

不知道在服务器用ollma同时部署r1和处理pdf等格式文档的模型,在局域网能不能调用使用本地知识库和模型?

这是别人发的硬件需求参考:
计算企业部署所需的服务器配置:https://tools.thinkinai.xyz/#/server-calculator
计算个人部署所需配置:https://tools.thinkinai.xyz/#/

嗯,这确实是一个办法

嗯,想好用就得加钱 :see_no_evil:

谢谢 我学习一下