最近想用Qwen2.5-7B微调一个垂直领域的问答模型，手里只有一张4090 24G。看了好多教程，有人说LoRA省显存效果好，有人说全量微调才是正道，越看越晕。我数据量大概5000条左右，主要是想让模型学会行业术语和回答风格。试了一下LoRA，loss降得挺快但效果总感觉差点意思，是不是我rank设太小了？想问问大家实际项目里都是怎么选的，有没有什么经验可以分享一下，真心求教。