被赶鸭子上架,领导拍脑袋想要deepseekr1+搭建本地知识库,在局域网内,多用户离线使用,有哪些具体部署方案?没有运维经验,有没有大佬推荐一下部署方案!感谢感谢
预算估计在5万左右,团队估计8人左右,想跑 32b模型不知道能否实现?
ollama+deepseekr1,就好了,然后搭配一个page assist的浏览器插件,就ok了
5万块钱部署出来的东西真的能用吗?
建议先用一些不重要的文档,配合在线API的方式,调用7B、8B的模型让领导知难而退。
谢谢解答!处理pdf txt等格式的嵌入式模型需要单独部署么?局域网内的用户,在电脑上安装这个插件,就能直接调用r1模型和知识库使用了吗
哦哦,部署32b的模型,大概需要多少钱呢
上2张4090卡,就行了
我记得看到过说5万左右就能部署,但体验不太好说,因为这东西和并发还有关系,另外市面上的知识库系统也是要收费的
我看2张4090,京东上5万应该差不多呀 ![]()
直接用API吧,没必要折腾
知识库用fastgpt或者dify 1.0都可以
嗯,现在对知识库相关了解不够多。
局域网调用可以再研究一下,插件应是直接调用本地模型,处理pdf模型直接可以和r1部署一台服务器上就行吧
只能离线用呀,我也想api最简省事![]()
32B弄个48G显卡即可,8人并发够了
是不多啊,但这只是可用,答复速度和流畅的略有缺失
可以先拿一点费用买短时间的云服务部署32B模型测试一下
不知道在服务器用ollma同时部署r1和处理pdf等格式文档的模型,在局域网能不能调用使用本地知识库和模型?
这是别人发的硬件需求参考:
计算企业部署所需的服务器配置:https://tools.thinkinai.xyz/#/server-calculator
计算个人部署所需配置:https://tools.thinkinai.xyz/#/
嗯,这确实是一个办法
嗯,想好用就得加钱 ![]()
谢谢 我学习一下