最近在做RAG系统,检索出来的文档片段加到prompt里,结果发现上下文一多(比如超过5个片段),模型反而开始胡言乱语,甚至忽略检索内容自己编。我试过压缩片段长度、调整相似度阈值,但效果不稳定。想请教各位大佬,有没有什么好的prompt设计策略或者片段排序技巧,能让模型更“专注”地利用检索结果?还是说我应该直接限制上下文数量?先谢过!
楼主
2026-07-17
RAG里给大模型喂prompt时,上下文太多反而答不好,怎么优化?
请 登录 后发表回复
全部回复
共 163 条
2楼
2天前
我也遇到过这种情况,后来发现关键不是单纯限制数量,而是排序和位置。把最相关的片段放开头和结尾,中间塞太多反而干扰注意力。另外可以试试在prompt里明确要求“只根据以下片段回答,没有就说不知道”,比单纯压缩长度管用。我现在一般只留3-4个片段,再做个简单的重排序,胡编的情况少了很多。
3楼
2天前
我一般把最相关的放最前和最后,中间夹次要的,模型对首尾更敏感。
4楼
1天前
我遇到过类似情况,后来发现不是片段数量的问题,而是排序和去重没做好。把最相关的放最前面,后面加个“以上内容仅供参考”的提示,模型明显老实很多。另外可以试试把多个片段先合并成一段摘要再喂进去,比直接堆原文效果好。限制数量到3-4个确实有用,但关键还是让每个片段都真正相关。