最近在尝试用LoRA微调Qwen2.5 7B,目的是让模型能把Python代码转成Java。数据集是自己整理的2000条真实项目代码对,用官方代码跑的。但训了3个epoch,训练loss一直在1.2左右徘徊,验证集上生成的结果经常漏掉import语句,或者把lambda表达式翻译成错误的匿名类。
2000条数据量有点少,试试先加大batch size或者调高learning rate看看。
LLaMA、Qwen 等使用交流