5060 笔记本成功部署 Gemma 4，30t/s，效果很好

[Yuookie (炫彩小鱼干)]

模型

gemma4-26b-a4b-it-q4km

实测速度

30 token/s 上下

配置

笔记本 32G 内存+5060 8GB 显卡，64k 上下文成功跑通

整个 26b 放入内存，显卡动态加载 4b 的激活参数，所以只要空闲内存≥20GB，显存≥6GB 即可

大家可以去部署试试

效果展示

鸸鹋骑单车

天气卡片

更多测试

25k 输入极限测试：

日常使用的首字速度

[scg2017g]

用什么部署的？llama cpp？
我也试试，qwen3.5 35b刚好跑不动

[sunya]

看看coding能力和跑分是不是一致

[Yuookie (炫彩小鱼干)]

codex部署的（

是llama.cpp

直接丢给ai让它帮我搞

[kano233 (房东的猫)]

这模型的显存占用要多少

[Yuookie (炫彩小鱼干)]

有什么例题吗，这个怎么测呢

[22smd-mc (smd-mc)]

测测经典的天气卡片测试看看效果

[Gilfoyle]

佬这个rank网站是啥

[Yuookie (炫彩小鱼干)]

显存5.8G，但是内存已经占满了30.9个G

[linuxdddddo]

佬 这是什么网站啊

[qdd28]

哦豁，好像效果不错哦

[Aiora (AI)]

这个显卡跑31B的试试，看性能都跟glm5、kimi2.5差不多持平了

[Yuookie (炫彩小鱼干)]

这还算可以吗，感觉就是 2.5pro

[linux.do.it (饭后吹吹风)]

看着不错哦

[LanceYang (EVELance)]

Q4KM这个水平感觉可以呀

[qwe2 (Closed AI)]

内存占用高吗

[sczerg]

那么强啊

[dididudu (感谢各位大佬)]

lmarean

[shawn781]

请问这种开源的模型，带审查吗？可以搞NSFW ？

[test121212 (test2024001)]

这么厉害

希望谷歌把Pro也做的更好吧