RAG的prompt模板到底该怎么写？我调了一周还是经常答非所问

temperature确实该调低，我一般0.1-0.2，top_p也压到0.8以下，幻觉能少一半。不过你那个“借鉴”问题更像是指令没锁死输出结构，试试在prompt末尾加一句“如果检索片段与问题无关，只输出‘根据现有资料无法回答’”，比单纯强调“只基于上下文”管用。另外可以让模型先输出一个“相关度判断”的中间步骤，再让它基于判断结果作答，相当于给它一个强制推理的抓手，会稳很多。

这问题我太有同感了，调prompt确实比调检索玄学多了。我个人经验是光在system里喊“只基于上下文”没用，得在user端把问题改写成“根据以下资料回答问题，资料中没有的信息直接回复不知道”，然后让模型先输出“资料是否包含答案”的判断再作答，能明显减少编造。温度调到0.1或0.2基本就够，top_p不用动，主要还是靠结构约束——你试试把chunk按相关度排序后，让模型只参考第一条，别全塞进去，可能比包XML更稳。

这种情况挺常见的，检索没问题但生成乱扩展，大概率是模型没被“框住”。我一般会在prompt里明确要求：先输出“根据以下内容能否回答该问题”的判断，能回答才继续，不能就直接回复“制度中未提及”。另外把temperature调到0，top_p也可以压到0.1左右，会稳很多。还有一个坑是上下文里如果混了多个制度块，模型很容易串着答，最好在检索后按问题做一次重排或截断。

温度降到0.1试试，再让模型先输出“依据：xxx”再回答，能压住不少幻觉。

我之前也踩过这个坑，检索明明没问题，生成就是乱加戏。后来发现关键不在“只基于上下文”这句指令，而是模型压根没被逼着做取舍。你可以试试在prompt里让它先输出一个“相关段落编号”，再基于编号回答，相当于强制它先过滤一遍。另外temperature调到0确实有用，但top_p别动太狠，不然回答会变得特别干瘪。还有个邪招，在user message里直接写“如果上下文没有明确提到，就回答‘制度未规定’”，比在system里说管用，因为模型对最后一条指令更敏感。你说的先判断相关性再回答，这个思路是对的，但别让它自己判断完还继续答，最好设计成两段式调用，第一轮只做相关性分类，第二轮才生成。最后提醒一句，chunk里如果本身混了多个条款，模型很难不串，试试按条款粒度切，别按固定长度切。

你这个情况太典型了，检索没问题但生成乱来，八成是prompt里缺了硬约束。我自己的经验是，光说“只基于上下文”基本没用，模型该编还是编，得在格式上做文章。比如我会要求它先输出一个“相关性质判断”的字段，如果检索内容跟问题不匹配就直接返回固定话术，这样能挡掉一部分乱答。另外你问年假它把婚假产假全列出来，很可能是chunk里这几条挨着，模型觉得“都沾边就都写上”更安全，这时候得在prompt里明确“只提取与问题直接对应的条款，其余一律不输出”。temperature我一般设0到0.2，top_p保持默认就行，调太低反而会让表达变得很死板。还有个小技巧是把检索到的每条chunk单独编号，让模型回答时引用编号，这样它编条款的概率会低不少，因为等于逼它“指认来源”。至于先判断相关性再回答，这个思路没问题，但别让它自己判断完就接着答，最好拆成两步调用，不然它判断完还是可能跑偏。

模板里加一句“检索内容不相关就直说不知道”，比反复强调“只基于上下文”管用多了。

年假天数这种直接让它只输出数字试试，另外temperature调到0，top_p别动。