最近在搞RAG系统，基座用的LLaMA-3.1-8B，在领域文档上做了LoRA微调。结果发现，微调后做检索召回时，Top-5命中率反而比原始模型低了将近10个点。我怀疑是不是微调让模型对领域内部“过度记忆”，导致语义搜索时更依赖参数知识，而不是嵌入向量的相似度。目前用的bge-base-zh检索器，微调时只训了生成部分，没动检索embedding。想问下大家，这种情况是微调和RAG之间的典型冲突吗？有没有什么trick，比如冻结某些层或者调整训练数据比例来缓解？先谢过各位大佬了！