4060ti 8G显存能跑Qwen2.5 14B吗？

[Realm (荧焰)]

大佬们，想用ollama跑本地模型，请问 4060ti 8G显存能跑Qwen2.5 14B吗？

[stevessr]

https://qwen.readthedocs.io/zh-cn/latest/benchmark/speed_benchmark.html

[stevessr]

看起来直接就是不够啊，要不在量化一下

[Realm (荧焰)]

降档到7B可以不？

[stevessr]

还是得用量化的版本
不然部分权重可能放到内存（共享显存 ）里面降低了速度

[Realm (荧焰)]

@stevessr

量化的版

明白了，感谢佬

[XGCoder]

下载个 LM studio 可以自动检测, 当前设备是否支持某个模型本地部署

[Realm (荧焰)]

感谢，我去试一下

[oswald522]

其实不完全看gpu，内存够大就行。一般选择k5，qlm其实差不太多。

[XGCoder]

下载后可能 LM studio 不能加载模型数据, 需要把配置中的 huggingface 替换为 hf-mirror , 网上搜一下就有很多教程

图片这里可以看当前模型的是否支持, 如果支持,可以点击下面的按钮下载即可

[Saber2683 (未命名)]

可以！ollama的推理后端llama.cpp会把尽量多的layer放到gpu上，放不下的放cpu，所以答案是可以。

如果追求使用体验，试试7b

[Zhuifeng (追风)]

我笔记本8g能跑翻译

[4396]

能跑 但是会炸内存

[rubyrose]

我的OLLAMAN能跑 吃了7.2G显存和 50%的CPU

[KXG (大风车)]

llama.cpp 来量化一下应该能跑，可以试试

[ZoroAster (llliiilll)]

8g显存，不如调用api了。或者尝试cpu跑，虽然会非常慢，但至少能跑。