32B以下适合本地部署的大模型性能最推荐的是什么🤔

各位佬友,求教32B以下的大模型性能最佳的是神马,想要做FP4量化后部署在本地上。看Gemma4好强,有没有佬实测过,能和qwen或者是阶跃星辰的模型比吗? :thinking:

7 个赞

我部署了这几个,
hy-mt1.5-1.8b = 用来翻译
gemma-4-e4b-it = 用来AI润色优化语音识别的内容
然后中文场景下,感觉还是qwen3.5好一点

6 个赞

佬,想请问26b这个moe怎么样哇,尤其是和qwen35B比起来的话?
代码能力工具调用能力体感感觉如何?

我用这些模型都没有编写代码的场景,不太清楚代码能力怎么样
感觉千问3.5工具调用还挺积极的
gemma还没深度使用 刚开始用

1 个赞

em 32b以下还是要看具体使用场景吧 像楼上说的 针对任务选模型 可以参考各种能力榜单

1 个赞

gemma4 31B和qwen3.5 27B都试试看

1 个赞

qwen3.5 27B 或者 gemma4 31B 选一个把,这两密集模型性能几乎五五开。
我昨天看过的测试里非中英语言,逻辑推理上 gemma 会更强一些,视觉理解等qwen3.5 会更强一些。
qwen3.5 27B 已经接近 moe 的 qwen3.5 122B-A10B了,除非真的很追求速度,小模型不要用moe模型。

1 个赞

中文场景那肯定国产的模型要更好啊,这不是毋庸置疑的吗,论非中文场景那也gemma的绝对优势,训练的语料决定的