最近在尝试用LoRA微调Llama3-8B做中文对话，数据集是自己爬的一些客服问答对，大概2万条，清洗后去掉了明显重复和乱码的。用的transformers和peft，学习率设了2e-4，跑了一千步loss还在4.5左右徘徊，验证集也基本没变化。我看别人微调好像几轮就能降到2以下，是不是我的数据格式有问题？还是说中文数据需要加特殊token？另外batch size设了4，显存快满了，不知道是不是这个影响了收敛。求有经验的朋友指点一下，卡在第一步有点焦虑。