微调后的模型在RAG里反而变差了，是我的打开方式不对吗？

这个现象其实挺常见的，我去年做金融问答时也踩过一模一样的坑。你那几千条内部问答对里大概率混了不少“直接给答案”的样本，模型微调后学会了跳过检索、自己凭记忆答，所以一接回RAG就开始无视文档。LoRA把模型往“业务风格”上拉的同时，也把它的“检索依赖”给削弱了，这两个目标本身是有拉扯的。可以试试在微调数据里专门构造一批“给定上下文再回答”的样本，让模型重新学会用文档说话，而不是靠参数记忆。另外检索器和生成器确实得一起看，你检索回来的片段可能本身就带噪音，微调后的模型对噪音更敏感，更容易被带跑。我个人经验是先把RAG链路冻结，只拿检索结果做微调输入，效果会比混通用问答稳不少。

我之前也踩过差不多的坑，后来发现大概率是微调数据里通用问答占比太高，把模型“带偏”了，它学会了自信地按自己那套答，反而不太看检索回来的内容。可以试试把训练数据全换成“给定文档片段+基于片段回答”的格式，让它养成依赖上下文的习惯。另外微调时学习率别太大，LoRA rank也别拉太高，不然底座本身的指令跟随能力容易被破坏。检索器和生成器联合调成本高，先把生成端这个数据配比理顺通常就能好不少。

微调数据里别混通用问答，纯业务对更容易让模型学会“看文档说话”。检索器和生成器确实得一起调，不然两边打架。

我踩过一模一样的坑。微调数据里如果混了太多模型原本就能答好的通用问答，确实容易让它变得“自信过头”，检索到文档也当没看见。可以试试把训练集全换成那种“必须看上下文才能答对”的样本，逼它学会依赖检索结果。另外LoRA秩别调太高，我降到8之后胡编明显少了，你可以先拿几百条数据小规模试一下。

写得挺好，建议补充一些性能数据。

有没有更详细的教程推荐？

我之前也遇到过类似问题，后来换了方案。