佬们有本地部署的语言模型推荐吗

搞七捻三
1

就玩玩跑团这种文字游戏用，我这边显卡是3080ti laptop 16g，有推荐的模型吗？

37 个赞
2

本地的可能不够啊

3 个赞
3

同问想跑跑酒馆玩玩，有啥本地模型比较好用吗？

1 个赞
4

用 ollama 部署 qwen2.5 14b 试试

5

可以试试 qwen2.5 7b 的量化模型，非量化应该显存不够

1 个赞
6

问下佬们，大概多少显存能跑，4070TiSuper 16G 够不够

1 个赞
7

image
image998×314 11.6 KB

我目前在用的

1 个赞
8

大佬，你这个怎么安装使用的，有教程不？

9

使用的是这个 还可以感觉

image
image888×232 8.67 KB

10

推荐这个：https://lmstudio.ai/

2 个赞
11

中文的glm-4-9b，qwen-2.5-14b

12

8GB可以跑7b上下的模型，16, 32, 64 以類推

1 个赞
13
14

qwen还是可以的

15

感谢您，感谢分享

16

玩ollama不玩破限？试试这个，直接ollama run 接上后面的model名称就好，包括hugging face

hf.co/QuantFactory/Qwen2.5-7B-Instruct-Uncensored-GGUF:Q8_0 8.1 GB

17

目前qwen2.5可能是比较好的选择

18

很方便,感谢分享

1 个赞