我在本地部署了一个7B的模型做客服问答,但发现同样的Prompt有时回答很准,有时却答非所问,尤其是遇到稍微绕一点的问题,就开始胡说八道。我已经试过调整温度参数和增加few-shot示例,但效果时好时坏。有没有什么系统性的方法能让模型输出更稳定?比如Prompt模板里的指令顺序有没有讲究,或者系统提示词里要不要写“如果不知道就说不知道”?另外,是不是量化或低精度部署也会影响模型的“听话”程度?希望有经验的朋友能指点一下,谢谢!
我在本地部署了一个7B的模型做客服问答,但发现同样的Prompt有时回答很准,有时却答非所问,尤其是遇到稍微绕一点的问题,就开始胡说八道。我已经试过调整温度参数和增加few-shot示例,但效果时好时坏。有没有什么系统性的方法能让模型输出更稳定?比如Prompt模板里的指令顺序有没有讲究,或者系统提示词里要不要写“如果不知道就说不知道”?另外,是不是量化或低精度部署也会影响模型的“听话”程度?希望有经验的朋友能指点一下,谢谢!
暂无回复,快来抢沙发吧