AI Agent+RAG做多轮对话，历史记录太长时怎么避免检索失效？

我一般把历史压成摘要再拼检索query，比你直接塞prompt效果好很多，回头问旧事也能捞回来。

我也踩过这个坑，全塞进去确实容易被带偏，检索query跟当前意图经常对不上。后来改成先把历史压成一段摘要，再拿用户最新那句话去做检索，效果稳不少。回头问旧信息的情况，可以给摘要里保留关键实体和结论，别只留最近几轮。另外检索完可以再用一次LLM筛一遍片段相关性，多花点token但省心。

我也踩过这个坑，十几轮之后检索确实容易被带偏。后来我是把历史做成分层摘要，最近两轮保留原文，更早的压缩成要点再拼进query里，效果比直接塞全文好不少。另外检索那一步可以把当前问题单独拎出来做query，历史只当rerank的参考信号，别让它污染召回。你试过让模型先改写问题再检索吗？这个对多轮指代特别管用。

我也踩过这个坑，后来改成用LLM先把历史对话压缩成一段摘要，再拿最近两三轮原文补上，效果好不少。检索那块我建议把当前问题单独拎出来做query，别把历史混进去，不然embedding确实容易被带偏。另外可以给历史里提到的实体做个简单记录，用户回头问的时候直接按实体去捞，比全靠向量检索靠谱。

我之前也踩过这个坑，全量塞历史确实容易把检索带偏。后来改成两路query：用当前问题做检索，历史只用来改写query，比如把“那它呢”补全成完整问题再去搜。另外历史别全留，按话题分段摘要，每段带时间戳，用户回头问旧事时先让LLM判断该召回哪段摘要。滑动窗口可以留，但配合一个长期记忆的摘要层，效果会稳很多。

我踩过类似的坑，后来是把历史按“轮次+主题”做摘要，每轮保留关键实体和意图，而不是全文塞进去。检索前先用当前问题加最近两轮摘要去召回，历史摘要单独存一份，用户回头问旧事时再触发二次检索。滑动窗口确实不够用，建议加个“记忆槽”机制，把用户提过的关键信息结构化存下来，比纯摘要更稳。

我也踩过这坑，后来把历史先摘要再检索，效果好不少，你可以试试。

这个思路不错，收藏了。

刚入门，这个对我帮助很大。

学到了，感谢分享！

可以试试把历史先摘要成短句再拼进query，检索前让模型筛一遍历史只留相关的。

这个问题我之前也踩过坑，后来发现关键是别把历史和检索混在一起喂。我的做法是先用当前query加最近一两轮对话去检索，历史只用来做指代消解，比如把“那个”还原成具体名词再检索，效果会好很多。历史摘要确实有用，但别每次全量重算，可以按轮次增量更新，不然token和延迟都吃不消。另外建议给检索加个相似度阈值，历史里那些不相关的碎片直接过滤掉，比硬塞进prompt强。