佬友有没有跑过开源大语言模型的

最近跑了下Llama, 太抽象了, 想知道有没有稍微好用点的llm

2 个赞

有些 微调模型对 参数要求特别严格,诸如联通Llama3 8B 我只有完全按照它们的样例把参数写到配置文件里才好一点。

中文换国内的开源模型呗,我跑的是 Qwen1.5

1 个赞

就是中英文都有需求, 所以想试试llama微调的中文版本

原来如此, 我直接用的默认配置 :clown_face:

机子不行,只能羡慕

360 智脑 7B - 360K 还是不错的。我还是喜欢 Llama3 自己训练

是有这个计划, 等下月就开始自己fine tune

默认llama中文没有微调,是跟智障一样,你hello试试

国内开源的模型也不是不支持英文,主要看你的大部分场景在哪里

不过 llama 的语料大部分是英文,中文只靠微调的效果跟大部分语料是中文的比怎么样?

用的 ollama 效果感觉很不错,CPU 也能玩

用的是这个
https://github.com/CrazyBoyM/llama3-Chinese-chat

不道啊。我搞CV的, 最近想搞llm玩一下

不过我觉得仅就中文任务上说, 微调的肯定是不如大部分语料是中文的

了解一下

太帅啦!哥们瞅瞅

自己有一个24G显存的游戏主机,刚开始时,市面上的开源模型基本都测试过,个人感觉,百川和书生 这2个开源模型比较好用,llama2对中文支持不好,3没测过

1 个赞

我用的也是这个,搭配 jan 配置的remote api上的图形化界面

另外也用 lm-studio

如果 给 llama3 原始模型加上内置的让他回复中文的提示也不错,,

原版内置系统中文提示

联通版

可以看帖来体验我部署的 🚀部署了一个 Llama3 欢迎大家来玩!【Meta 最新 Llama 3 8B 和 70B模型 】

3也不是很好