RAG里Prompt写不好，检索再准答案也怪怪的，大家怎么调？

我最近也踩过这个坑，top5命中率挺高但答案就是一股拼凑味儿。后来发现关键不在检索，而在prompt里上下文的组织方式——把一堆chunk平铺直叙塞进去，模型很容易“礼貌地全部用上”，哪怕有些只沾一点边。我现在的做法是每个chunk前加一句极短的定位说明，比如“以下段落讨论X政策生效时间”，让模型知道每块该看什么，硬凑的情况明显少了。多文档冲突我一般会在指令里明确优先级规则，比如“若不同来源矛盾，以最新日期为准，并说明存在分歧”，不给规则它就会自己瞎编一个折中答案。至于“信息不足”，光在system里写没用，得给个few-shot示例，演示一次“检索内容无法回答时该怎么回复”，模型才会真的照做。另外指令和上下文的位置我也试过，把最硬的约束放在上下文之后、紧挨着问题，比全堆在开头要稳一些。温度调到0.2以下也有帮助，RAG本来就不需要它发挥创意。

我也遇到过，后来把指令放最前面、上下文用分隔符隔开，再明确说“没找到就说不知道”，稳了不少。

冲突时把矛盾点直接写进prompt让模型自己权衡，比硬塞来源标签管用。

这个“机械感”我太有共鸣了，之前做客服知识库也踩过一模一样的坑。后来发现关键往往不在prompt措辞，而在上下文是怎么拼进去的——如果chunk之间没有明确分隔和优先级，模型很容易把几段话揉成一坨。我现在会控制每次注入的上下文长度，宁可少而精，top5里挑2-3段最相关的，比堆五段效果好很多。关于“信息不足”这个，我试过在prompt里直接给一个固定话术模板，比如“根据现有资料无法确认，建议查阅XX”，模型模仿能力很强，给个例子它就知道该怎么说了。多文档冲突的话，可以在每段前标上来源和更新时间，让模型自己按时间或权威性取舍，但记得在指令里说清楚优先级规则。另外温度别调太高，0.1到0.3之间对事实型问答稳很多。你们现在是直接把检索结果拼接，还是做了rerank或者压缩？这块对生成质量影响其实挺大的。