最近在试着用LoRA微调Llama 3 8B，设备是RTX 4090 24G，数据集大概5万条对话。结果刚跑第一轮batch size设成4就直接OOM了，试了梯度累积和混合精度（bf16），还是撑不住。
我看网上有人说用bitsandbytes量化到4bit能省显存，但我加载模型后生成文本变慢了好多，而且微调完效果有点飘。
想问问大家，除了换硬件，有没有什么实用的显存优化技巧？比如分片加载、offload或者改attention？另外，8B模型用4bit微调会不会损失太多能力？求指个路，有点迷茫。