如题，打算在服务器跑一个本地的玩玩
6 个赞
你试试。。。。
1 个赞
在试了，768G 内存，64核纯 CPU 不知道能跑多快
3 个赞
基本可以这么认为，
需要使用function call……，使用联网的函数……，返回搜索结果（调用端的事）
1 个赞
没懂 
是说还是需要联网，但没有联网搜索功能了吗
模型本身不具有这个功能，但可以调用具有这个功能的函数为己所用
把网络搜索理解成function call 就好了，cot 是模型自己吸收了
纯cpu很慢很慢
可以用page assist联网搜索
是的，很慢，不知道为啥 Ollama 命令行还挺快，同一个问题用 openwebui 就很慢了
楼上各位大佬的回复我晚点仔细研究下，先看看怎么把回答提个速 
内存占用 21G，CPU 占用 50% 不到，感觉不对劲，完全没发挥内存和 CPU 的性能
佬 本地使用cherry studiio有没有啥法子 联网搜索?
cherry现在好像不支持自定义fuction calling，应该也就没法调用联网搜索吧
嗯呢 好吧 等作者支持了
吓我一跳，我还以为终于有佬具备本地部署全量671B模型的实力了
US 的同事部署了 V3 的 671B 全量版，效果不太好，我正让他换成全量 R1 试试
1 个赞
夺少?! 768G内存！
牛哇！等佬的反馈
此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。