最近在用LoRA微调一个7B模型做垂直领域的问答,训练集大概2000条,格式都是“指令+回答”的pair。微调完发现效果还行,但心里没底——之前用GPT-4的时候习惯在Prompt里塞3-5个few-shot示例,效果提升很明显。现在模型已经微调过了,推理时还有必要加示例吗?加了会不会反而干扰?还是说Prompt应该写得更简洁,只留系统指令和用户问题?有没有大佬有实际对比经验,求指点。