如何本地利用本地部署的Llama 3.1 8B 进行“训练模型”啊

[xmj1 (小米椒)]

我想在本地部署一个Llama 3.1 8 然后有没有一直方法方法给它投喂某个领域的知识，然后后期问它的时候能给出对应的知识或者解决方法。

[likoo]

这个ollama站上有说明文档，或者直接 ollama -h看一下，有个命令和使用格式，记不清了~~

[dollaring (Liz vicious)]

我也想知道，说吊打4 mini了

[sms (新消息)]

个人跑的起来吗？

[xmj1 (小米椒)]

可以自己租一台临时的云GPU进行训练之后，看效果如何，好的话就可以买个显卡什么的

[xmj1 (小米椒)]

谢谢 找到了
Fine-tuning

[Get5560 (纯七)]

ollama搭配Chatbox本地化部署AI程序 – 纯七博客 (xzbzq.com)

[xmj1 (小米椒)]

谢谢您的给的参考资料，其实我本地已经能跑起来这个离线模型了，我的需求是想对模型进行“微调”，在模型中加入自己想要某个领域的资料进行“训练”之后可以再使用的

[Get5560 (纯七)]

嗯呐，那可以参考这个： [Llama3微调教程：

超简单，人人都可以打造属于自己的GPT！-CSDN博客](Llama3微调教程：超简单，人人都可以打造属于自己的GPT！_llama3 微调-CSDN博客)

Llama-Chinese: Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用(https://gitee.com/watching/Llama-Chinese#-模型预训练)

[xmj1 (小米椒)]

感谢感谢

[Get5560 (纯七)]

客气啦

[a2767962 (jarvis)]

请问楼主本地部署需要什么硬件配置，可以支持多少并发

[WIlson (憨憨和Nike)]

macbook m1 pro 16G 可以部署吗

[xmj1 (小米椒)]

10代i7 + 64G运行内存 + 3070TI 问一个编程问题要卡半天，我想着租云GPU再试试呢

[xmj1 (小米椒)]

选择模型较小的试一下