Prompt工程在RAG场景下到底怎么调？每次改完感觉效果全凭运气

这个问题我踩过坑，感觉prompt能调的其实有限。口语化query先做一轮改写再检索，效果比死磕system prompt明显。另外chunk别切太碎，人社条款按条切、带点上下文，比固定字数切好很多，碎片的锅真不在prompt。top5召回建议加个rerank，把无关条款压下去，不然模型再听话也会被带偏。同一query两次结果不一样，多半是temperature没设0，先固定住再谈调优。

我也踩过这个坑，人社领域确实难搞，条款之间互相引用特别多，检索回来top5里经常混进隔壁政策的碎片。你说的“同一个query跑两次结果不一样”我怀疑不是prompt的问题，而是temperature没调低加上检索本身有随机性，先把temperature设成0试试，能排除掉一大半玄学。prompt分层的话，我现在的做法是system只管角色和硬边界，比如“你是人社政策助手，只依据给定片段回答”；检索后加一步重写query，把口语化的“失业了能拿多少钱”改成“失业保险金申领条件及标准”再去检索，召回质量会好很多；答案约束单独放在最后，明确要求逐条对应来源、信息不足就回复“当前资料无法确认”。但说实话，如果chunk切得太碎、把一条完整政策拦腰截断，prompt再怎么调都救不回来，建议先检查切分是不是按条款结构走的，再加重排模型，这两块搞定后prompt的收益才明显。

先把chunk切好再谈prompt，碎成那样神仙提示词也拼不回来。

口语query先改写再检索可能比调prompt更管用，chunk太碎的话重排也救不回来。

我踩过一模一样的坑，后来发现prompt调来调去效果不稳，八成是chunk粒度没对齐。人社条款那种一条一款的结构，硬切就碎，检索出来自然拼不成逻辑。建议先做带标题和条款号的父子块切分，检索命中的是父块给上下文、子块算相似度。再叠个轻量重排，prompt里只留“引用必须标条款号”这种硬约束，比反复改措辞管用多了。

我踩过类似的坑，后来发现问题真不在prompt上。你试试把top5改成top3加个rerank，人社这种领域条款之间太像了，向量召回经常把邻近条款混进来，prompt再怎么写也救不了。另外口语query建议先过一遍query改写，把“失业了能拿多少钱”转成“失业保险金申领条件及标准”再去检索，召回质量会好很多。system prompt只管边界就行，别指望它纠正检索错误，那是chunk和重排的活。

先看看切分和重排吧，prompt再牛也救不了碎成渣的上下文，口语query建议先改写再检索。

我踩过差不多的坑，后来发现prompt分层其实就三块：system定角色和拒答边界，检索后加一步“把碎片重写成连贯段落”再喂给模型，最后才是答案约束。你那个口语化query的问题，光靠prompt救不回来，得在检索前做query改写或者用多路召回。同一个query两次结果不一样，多半是temperature没设0，这个先锁死再谈调prompt。人社领域条款引用错，我更怀疑是chunk切太碎导致上下文断了，建议先拿几个badcase倒推是召回还是生成的问题。