最近在做一个企业知识库问答,底座是Qwen2.5-7B。一开始纯RAG效果还行,但遇到专业术语和内部黑话经常答偏。于是我用LoRA拿几千条内部问答对做了微调。结果单测微调模型时回答风格确实更贴近业务了,可一接回RAG链路,检索到文档后它反而开始胡编,甚至无视上下文。试过调低temperature、换prompt模板都没用。想请教下大家:RAG场景下微调到底该怎么做才不打架?是我微调数据里混了太多通用问答,还是检索器和生成器需要联合调?有点迷茫,求指点。