最近想用Qwen2.5-7B在自己的数据集上微调一个垂直领域模型，数据量大概5万条左右，主要是问答对。显卡只有一张4090 24G，看网上说LoRA省显存但效果可能不如全量，全量又怕爆显存。试了下LoRA，loss降得挺快但推理时感觉模型有点“飘”，回答风格不太稳定。想问问大家实际项目中是怎么权衡的？是不是数据量够大就该上全量？还是说LoRA调参有什么坑我没注意到？求有经验的老哥指点一下。