我想构建个人知识库，有些工作中的文件对隐私比较敏感，不想被DS或其他模型提供商拿去训练模型，暂时也不想专门购置一台设备本地部署deepseek-r1/v3（感觉初期投入比较大，以及现在本地部署的方案还有进化的空间，想先低成本的验证方案的有效性），不知道有没有哪些云厂商提供类似VPS那样的模型私有化部署，可以确保不被服务商获取到对话内容（同时性价比尽可能高）？或者针对我这样的需求，佬们有什么建议？
2 个赞
太大了……
感觉32B或者70B可能就够用了
我自己本地7b量化过的效果不好
感觉参数太少了，我印象中有佬友说过32B模型可能会好点
有道理 我本地显存不够了 佬可以试试
好奇你预算有多少，私有化部署应该不便宜
那可不是原版 
如果最终方案只能选择本地部署，预算估计也就是买个mac mini m4，估计1-2w能跑个32B或者70B？感觉这个启动成本不低，所以如果有哪个云服务能确保不会收集对话内容，我是很愿意先按量付费的
我看很多评测说32B或者70B的蒸馏模型配合Cline写代码效果已经不错了，估计结合RAG做个人知识库问答效果可能也还行？
实践出真知…
我们正在考虑搞本地部署，32或者70B，按量付费你觉得多少合适？
不能自己建索引吗？感觉用AI多少都有泄露
我觉得r1 70b 按照官方费用1折 比较好吸引人
32b就算了
官方费用还要再打1折？
我感觉跟官方价格差不多都是可以接受的，不过听说很多API中间商会收集和倒卖用户问答数据，怎么建立信任是个问题
16r
打1折
1.6r
大厂可能会收集数据，小厂比如我们收集数据干嘛呢
官方的是满血671b，70b还是差很多的吧
得便宜一些+稳定才有性价比
我理解主要卖点是私有化，没有规模的话，成本就是很高的