长期主义效率工具修炼册

这问题我太有同感了，单纯加“每行注释”确实容易翻车。我的做法是直接在系统指令里把“注释粒度”拆成硬性要求，比如必须覆盖def行、参数说明和异常分支，再用一个带注释的few-shot示例把“行内注释写逻辑、块注释写意图”的样式定死，模型基本就能稳定复现了。另外可以试试在prompt末尾加一句“如果某行是纯语法或pass，用# 跳过”，能减少不少无效输出。

典型的灾难性遗忘，3e-4对LoRA来说偏高了，降到1e-4试试，顺便混点通用数据进训练集。

说实话500条数据做指令微调确实有点悬，尤其是7B模型，参数量摆在那，LoRA虽然参数少，但本质还是要学新能力。你观察到loss在2.3附近振荡，而且有背诵现象，这其实挺典型的——数据量太少，模型记不住真实分布，只能硬背那几个样本，甚至把instruction也当成输出的一部分给复述出来了。 我建议你先检查一下数据格式，是不是instruction和output之间没有明确的分隔符？比如用\n\