Ollama 运行 DeepSeek-R1-Distill 系列模型

[zgccrui]

今天早上起来看到huggingface里已经有大佬将DeepSeek-R1-Distill 系列模型量化为GGUF格式，可以直接使用Ollama跑起来了，使用命令如下

Qwen 系列

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF:Q8_0

Llama 系列

ollama run hf.co/unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF:Q3_K_L
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF:Q4_K_M

[yqyan (Grogu)]

感谢老友分享，去试试

[yqyan (Grogu)]

DeepSeek-R1-Distill Models

Model	Base Model
DeepSeek-R1-Distill-Qwen-1.5B	Qwen2.5-Math-1.5B
DeepSeek-R1-Distill-Qwen-7B	Qwen2.5-Math-7B
DeepSeek-R1-Distill-Llama-8B	Llama-3.1-8B
DeepSeek-R1-Distill-Qwen-14B	Qwen2.5-14B
DeepSeek-R1-Distill-Qwen-32B	Qwen2.5-32B
DeepSeek-R1-Distill-Llama-70B	Llama-3.3-70B-Instruct

[wwow (樱悦（酒馆腻了中）)]

感谢分享，我也去试试

[ningyuan]

这些蒸馏后的大概能达到什么效果有文档介绍吗

[handsome (大帅哥)]

太强了，大佬

[y1285012 (Ryan)]

感谢佬的分享

[Hozoy]

LM Studio也有了 [DeepSeek R1 Distill (Qwen 7B)] lmstudio.ai/model/deepseek-r1-qwen-7b

[jonntd (真诚、友善、团结、专业)]

太强了。

[showyoubetter (且笑风尘不敢造次)]

@zgccrui

Qwen-7B

感觉这个数学模型太蠢了

[stevessr]

comming~~

[Coolfan]

昨天试的时候运行失败了，能载入模型但是回答的时候报错

[Oopss (路人丁)]

有开源的在线知识库项目么，支持本地训练和接入其他API直接使用，比如接入硅基，cherrystudio还是局限了，没法让朋友在线用

[jonntd (真诚、友善、团结、专业)]

得装插件啊

[Coolfan]

搜嘎！感谢，起床我试试

来自 Outlook for Android

[363829273 (老Lu)]

希望进步，中国不断变强

[WyInnovate (斓曦未央丶)]

跟直接 ollama 运行非 GUFF 的有啥区别？
有大佬知道吗？