最近在跑一个垂直领域的问答任务，用LLaMA3-8B做微调。试了LoRA（rank=16, alpha=32），领域数据上效果还行，但一测通用能力（比如GSM8K和MMLU）掉得特别厉害，感觉模型快变成“只会答行业问题”了。我理解是灾难性遗忘，但调了学习率（从2e-4降到1e-4）和epoch（3轮变1轮），还是不行。现在纠结是不是应该换全量微调？或者用混合通用数据一起训练？但全量微调又怕显存不够（两张3090），还要改代码。有没有大佬遇到过类似情况，是怎么平衡领域能力和通用能力的？还是说我LoRA的rank选得不对？求指点。