deepseek R1已经本地部署好了,然后如何愉快的玩耍呢?

deepseek R1 32b已经ollama本地部署好了,和官方700多b的比较还是很弱智,很多它都不知道。如何把它调教成至少某个领域的专家呢?或者至少某个软件/某个技能的专家?

5 个赞

搬个小板凳等着大佬来讲解

1 个赞

占个位置

1 个赞

躺在地上喝茶,等大佬講解

1 个赞

围观学习一下

1 个赞

前排围观 :lark_001:

1 个赞

没有用感觉还不如原版 32b 的

1 个赞

没用的,你下载的模型都是训练出来的

1 个赞

输入你好!
你是谁?
然后开始删除清理工作

1 个赞

没研究过微调,不过之前那个$50微调Qwen2.5-32B-Instruct的论文,可以试试。
准备环境是16个H100一起运行26分钟 :joy:

https://arxiv.org/abs/2501.19393

他们的数据集在这里,已经整理好数学问题和gemini-2.0-flash-thinking-exp-01-21的思考过程和结果了。

微调的代码在这里

我没有试过,没有机器,上面只是理论可行。


等一位大佬实际运行看看

5 个赞

本地的话结合知识库?

奈何电脑跑不动32b,我4060ti 8G显存跑14b,才8到9个token每秒

可以做一个工作流,把对应的知识预检索后一起丢给大模型

用在cherry studio的知识库,应该是足够了吧

外面套个壳子 ,然后内网穿透给我用

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。