最近在拿LLaMA-Factory微调一个7B模型做垂直领域的问答,数据大概两千多条,效果比预想的好。但用的时候发现一个困惑:微调完之后,我随便写个简单的prompt它也能答得不错,那之前花时间研究的那些复杂prompt模板还有必要吗?还是说微调本质上就是把prompt里的指令“内化”到权重里了?如果继续加prompt会不会反而干扰?有没有实际做过微调+prompt配合的老哥说说经验,这块一直没想太明白。
最近在拿LLaMA-Factory微调一个7B模型做垂直领域的问答,数据大概两千多条,效果比预想的好。但用的时候发现一个困惑:微调完之后,我随便写个简单的prompt它也能答得不错,那之前花时间研究的那些复杂prompt模板还有必要吗?还是说微调本质上就是把prompt里的指令“内化”到权重里了?如果继续加prompt会不会反而干扰?有没有实际做过微调+prompt配合的老哥说说经验,这块一直没想太明白。
暂无回复,快来抢沙发吧