最近在做一个垂直领域的文本分类任务,数据量大概两万条左右,手头只有一张3090。看了不少教程,有人说LoRA省显存效果好,也有人说数据量够的话全量微调更稳。我试着用LoRA跑了一版,r设成8,但验证集效果比预期差不少,loss降得也很慢。想问问大家,这种数据规模下到底该走哪条路?是不是我rank或者target module选得不对?有没有踩过类似坑的朋友指点一下,感激不尽。