微调Llama3做中文情感分析，loss降了但预测全是一个标签，怎么回事？

我之前跑类似任务也翻过车，最后发现是prompt里少了明确的指令性描述，模型根本不知道“情感：”后面该接啥，你试试把模板改成“请判断以下评论的情感倾向，只输出正向或负向：xxx”。另外QLoRA只改q和v确实可能欠拟合，把gate_proj和up_proj也加上会稳很多，尤其中文任务对MLP层的依赖比想象中大。还有个坑是验证集如果和你训练时的分布不一致，比如混入了大量中性样本，也会导致模型摆烂全选多数类，建议抽几十条人工看下预测概率分布，别只看标签。

我之前做类似任务也踩过这个坑，loss降了不代表模型真学会了任务，很可能是在学“频率捷径”。你正负样本虽然平衡，但如果训练时模型发现输出“正向”的loss更低，它就会无脑选性价比高的那个。建议你直接看训练集上的预测分布，如果训练集也全正，那就是模型欠拟合或指令没对齐，可以试试把模板改成更明确的“以下是评论，请判断情感是正向还是负向”这种完整指令。另外target_modules只改q和v确实可能不够，加上gate_proj和down_proj试试，我上次加了之后效果变化挺明显的。还有个土办法，拿几条训练样本跑推理，打印logits看看正向和负向的分数差距，能帮定位是不是输出层偏置了。