RAG里用Prompt让LLM“只基于检索内容回答”，但总是失效怎么办？

这个问题我也遇到过，试了好多方法才稍微好点。你可以试试在prompt里加个惩罚机制，比如“如果回答包含原文没有的信息，将受到严厉惩罚”，同时把检索内容用```

```包裹起来强调边界。另外，对GPT-4来说，单纯靠prompt约束其实挺弱的，我后来在系统层加了post-processing逻辑，检测到回答里出现价格这类数值就直接拦截，效果更实在。你用的是哪个embedding模型？有时候召回内容里混了训练语料的影子知识也会导致这种问题。

这个我遇到过，光靠prompt约束确实不够稳。可以试试把检索内容按“事实清单”格式喂给LLM，比如直接说“以下是已知信息，如果问题超出这些信息，请回答‘未找到相关依据’”。另外，调整一下temperature参数，设低一点也能减少乱编的概率。还有个思路是加一层验证逻辑，让模型先输出它用了哪段检索内容，再生成答案。