最近在试着用LoRA微调Llama3-8B来做我们公司的客服问答模型，数据集大概一万多条。我显卡是两张RTX 4090，但每次设batch size=4就显存溢出，降到2又跑得慢得要命，一个epoch要十几个小时。我看别人说用gradient accumulation可以等效大batch，但设成4步累积之后，loss曲线一直抖，收敛效果很差。想问问有经验的大佬，这种规模的模型和数据集，batch size和累积步数到底怎么搭配比较合理？还有，是不是我LoRA的rank设太高了（我设的32）？或者数据集里长文本太多（平均500 tokens）导致的？求指教，我调了好几天了，心态有点崩。