最近在做一个企业内部文档的RAG问答系统,用的是LangChain + bge-large-zh + ChatGLM3。检索阶段top3的chunk肉眼看确实是相关的,但模型生成的答案经常跑偏,要么答非所问,要么把好几个文档的内容混在一起编。试过调chunk size(从512调到256)、换prompt模板、加“请仅根据以下内容回答”的约束,效果都不太稳定。有没有大佬遇到过类似情况?是检索粒度的问题还是生成阶段需要加什么后处理?真诚求教,感谢!