RAG部署后回答质量忽高忽低，有没有排查思路？

先查chunk切分吧，我遇到过标题被切走导致引用错乱，改成带重叠的切法稳定多了。

先查下chunk切分吧，我之前就是文档段落被切断导致检索结果飘忽不定，改成按语义切分后稳多了。

大概率是chunk粒度不一致导致的，试试按文档结构切分并保留标题层级，检索召回会稳很多。

我之前也这样，后来把相似度阈值调低点、top_k拉大，再让模型按检索片段顺序回答，问题就少多了。

我之前也遇到过这种玄学问题，后来发现八成出在chunk切分上，尤其你们文档如果格式不统一，同一个意思被拆到两个片段里，检索到了但生成时上下文不连贯，回答自然就飘。建议你先别急着调生成参数，把每次答错的case对应的检索片段打出来看看，是不是召回的chunk本身就不对。另外上下文拼接顺序影响也很大，智谱对中间内容比较敏感，可以试试把最相关的片段放最前，或者干脆用重排模型把检索结果再滤一遍，比反复调top_k有效得多。

我之前也踩过这个坑，后来发现问题多半出在chunk切分上，尤其不同文档格式混着的时候，切出来的片段语义不完整，检索召回自然就飘。你可以先看下bad case里引用的文档片段是不是明显不连贯，如果是的话，试试按标题或段落结构做切分，别只用固定长度。另外上下文拼接顺序也很关键，有时候把检索到的片段硬塞在prompt最后，模型注意力会被无关信息带偏，建议把最相关的放前面，或者加个简单的重排步骤。生成参数比如temperature调到0.2以下也能减少随机性，但根本还是先保证检索结果稳定。