大佬们,我们公司想把自己的代码给喂给大模型,然后再使用AI编辑器去基于我们这个投喂过代码的大模型去生成代码,而不是靠模型本身训练的数据去生成,因为有些不适用还要来回改,有什么好的方案吗
大模型微调
如果我司这么搞,就会基于屎山训练一个专门写屎山的微调后的大模型,想想就刺激
哈哈,这样吗 ![]()
如果是公司内部库,更建议用 RAG 或者专门编写的上下文实现,微调1是开支巨大,2是效果不一定,万一训出灾难性崩塌全得重来,3是微调只能微调开源模型,本来性能就不是最强的。支持闭源微调的那些价格都飞到天上去了。
而且根据我自己的实验,微调对于添加新知识的需求的能力极其糟糕,想实现估计得混开源语料继续预训练。
完了,那个从公司初创就在的老工程师要失业了,这里除了他没人能看懂这坨不可名状的怪物 ![]()
哈哈 ![]()
是啊,我有个一线大厂训练好的模型写的代码质量还是要超过普通中小公司员工编写的具有个人风格代码的平均水平的感性结论(哈哈,有点冗长的描述了)
我们公司也打算干这事。。。。应届毕业生头上迎来一座大山
成本有点高,得等一个code领域的deepseek出世。
不现实
最重要的问题没提啊
如果你们改了代码,迭代了功能,那大模型知识库里面的代码就跟实际代码不一致了,那你们是每天微调一次大模型吗,还是迭代一次功能微调一次呢
好像腾讯是再一直更新大模型知识库的(不对望更正),如果你们接受微调-测试-部署循环带来的成本,那就没啥说的
首先强烈不建议去为自己的代码库微调一个模型,原因如下:
- 微调一个模型并不复杂,LoRA微调再加上unsloth之类的框架,不难,但是重点不在这里,重点在于提升它的能力,这就需要良好的评估(evaluation)方法和相当的大模型微调经验,比如:如何防止经典的灾难性遗忘?如何定量比较它对你们代码库的理解?
- 微调一个模型,如果操作正确,确实能加深它对代码库的理解,但是这种提升未必比得上换成一个新大模型带来的提升,也就是说大模型在通用能力上的进步很可能快于你微调的模型的进步
- 微调的模型必须是开源的,一般来说能力不如闭源模型(如Claude Sonnet 4.5)
- 代码库本身在不断演进(比如重构),而微调是一次性的,不是持续的
综上,微调是个非常差的想法,可行性和实用性存疑
然后你可能会问除了微调还有什么办法?Augment/Windsurf/Cursor的RAG代码索引就是一个可行的方案,去参考一下,自己写一个实现也不难
好的,谢谢佬
代码工具自带的本项目分析,如果是新项目就 rag 文档上传就行。
收购Aug
本地部署还可以,不然会代码泄露吧
代码只能预训练吧,没有标签如何微调,强化学习吗
现在大模型的进化程度已经不适合普通玩家了。成本会非常高,想达到你的预期,投入和产出比真不值当了。
哈哈哈哈哈哈,这是他的护城池
本地部署的话性能可能不够