最近在微调7B模型做中文医疗问答，用的LoRA，训练集大概1.2万条清洗过的对话，跑了两轮loss从1.8降到1.4就死活不动了，验证集loss还轻微反弹。试过把学习率从2e-4降到1e-5，batch size也调过，效果不明显。看tensorboard感觉loss曲线很平滑，不像爆炸，但就是卡住。数据里长回答和短回答都有，我也做了长度截断和去重，难道是数据分布本身有问题？还是说7B太小，知识容量不够？有没有大佬遇到过类似情况，怎么判断是欠拟合还是数据噪声？目前用的是alpaca模板，会不会是模板太简单导致模型没学到上下文？求指点，感谢！