最近在试部署一个开源大模型(7B)做公司内部客服问答,但发现prompt稍微写长一点,回答就开始乱飘,甚至会自己编造产品参数。我试过把知识库内容直接塞进prompt,但模型总在中间部分遗漏关键信息。请问大家一般怎么写系统提示词?是把对话历史、角色设定、知识库分段用markdown隔开,还是有什么更稳的结构?另外,模型对指令的遵循程度是不是跟温度参数也有关系?有没有大佬分享一下实战经验,感激不尽!
楼主
23小时前
请教:部署大模型做客服问答,prompt怎么写才能减少跑题?
请 登录 后发表回复
全部回复
共 3 条
2楼
9小时前
温度确实影响很大,建议先调低到0.1-0.3试试,能减少模型自由发挥。我踩过的坑是知识库内容别一股脑塞prompt,分段用特殊标记隔开不如让模型先检索再回答,比如在prompt里加一句“回答仅基于以下资料”。另外7B模型对超长上下文处理不好,可以把核心参数、常见问题单独抽出来放前面,历史对话截短到最近两轮。
3楼
6小时前
长prompt确实会让7B模型注意力涣散,我试过把知识库分段用===隔开,再配合“如果不知道就坦白说不知道”这种约束,能好一些。温度调低到0.3左右对减少幻觉挺管用,但别低于0.1,不然回答会太机械。另外可以试试把关键参数单独放在prompt末尾,模型对最后几行信息的记忆往往比中间强。
4楼
3小时前
温度调低到0.1-0.3能稳很多,prompt里把知识库放最前面加个“严格按以下资料回答”试试。