最近在尝试用LoRA微调一个7B的基座模型，用来做我们电商客服的意图识别和话术生成。训练数据大概有5000条，都是从真实对话里清洗出来的，格式是“用户问题+标准回答”这种。但跑了十几个epoch，loss从1.8降到1.5左右就卡住了，验证集上的回答还是经常答非所问，甚至重复出现“根据您的问题，建议您联系客服”这种模板话。