本人资金8-9k，装台能本地部署AI相关模型的机子，目前两个方案：
48g 7200 内存 + 5070显卡
32g 7200 内存 + 5070ti显卡
想问下各位，爆显存下（开启显存共享）的模型输出速率如何？有必要将12g的5070升级为16g的5070ti吗？
4 个赞
24g显存是质变
4 个赞
显存越大越好 内存32就够
1 个赞
5090d都2w，多没钱啊 
跑图模型可以 语言模型总是不够的
可以先云平台租机看看需求
或者搜ktransformers的项目看看推荐配置
2 个赞
好的感谢。请问下，显存不够用的情况下，损耗的性能差距大吗？
买显卡的钱完全够租了
1 个赞
很大 因为现在显存速度和主机内存速度不在一个档次上
1 个赞
建议4系 跑下来5系是真不行 而且你这是家用卡不是专业卡，本来就是想两用的吧
1 个赞
还是16g显存吧，显存共享，慢的一b。建议4070ti
1 个赞
是的，打算是双用，如果专用计算就买计算卡了，而且消费卡也比较保值，到时候升级好出
不用想了，算力不行
1 个赞
现在十几G的显存够跑啥模型啊，形势越来越不利于本地了。新出的sota大多都是MoE的，最垃圾的Qwen3-30A3最少最少都得16G+才能跑Q4，gpt那个20b的又非常垃圾，200B+甜点区间起码100G+的显存，跑不了一点。
总结：不如省钱买 API。画图的话倒是还可以
2 个赞
爆显存下几乎是 
1 个赞
我之前在1065 4G显存16G内存部署了ds-qwen-7B，大概每秒能输出一截小拇指那么长的字。其他情况不了解，推荐你详细描述一下使用场景，不然只会得到“显存拉满”的回复。
此外，我在用Gemini Flash之前，都以为自己对速度没要求。就像有些单屏用户想不明白双屏有啥必要，很多时候是因为“没有”，才永远开不了对应的思路。不同硬件基础对应的是完全不同的体验，我的建议向来是：拉满一切刚需赛道的不确定选项。
我开贴过类似问题，说不定会有你需要的信息：
【二编】预算2w求推荐日用主机配置，其次有本地部署小模型需求 - 搞七捻三 - LINUX DO
1 个赞
除了画图，岂不是死路一条 
选32G 5070ti， 多4G显存 多干很多事
1 个赞
我比较倾向于dify,想要一台内网穿透的智能助手，旧机子是4g显存,所以模型方面我都没有奢望部署，之前跑过图，没一会就炸了 。
也是打算ds或qwen的7B或14B，看了不少视频5060ti性能太低，对于14b来说5060ti较为吃力，5070ti差不多，但是价格方面会贵些，余是想用5070显存共享来弥补，是不是也能达到差不多的效果。
学习方向是AI的应用层面，所以运行太高的模型对我来说意义不大。
其他佬友说的也差不多，本地部署的期望性价比太低，还不如花钱调api，云平台去使用练习。
