微调后的embedding模型做RAG，效果反而变差了？

法律领域做RAG微调embedding翻车还挺常见的，我去年做医疗问答时也踩过类似的坑。你用随机负样本基本等于让模型学“这俩完全不搭边”，但法律术语里很多概念本身就高度相似，比如“定金”和“订金”，随机采样根本区分不出这种细粒度语义，模型反而会把原本拉开的距离又搅混了。换hard negatives确实是个方向，但别一上来就全换，建议先按7:3混着来，hard negative太猛容易导致训练崩溃，尤其是bge这种已经预训练得比较充分的模型。另外你提到的通用能力下降问题，我觉得大概率已经发生了，可以拿MTEB里的中文子集跑一下对比，如果掉得厉害，加个KL散度约束或者用LoRA只调顶层会稳一些。还有个容易被忽略的点是温度系数，contrastive loss里温度设太小会让模型对负样本过度惩罚，0.05以下在法律这种细粒度领域很容易过拟合。最后训练数据构造上，问答对不如用“同案由不同判决”这种天然hard pair，裁判文书里其实能挖出不少。

随机负样本太弱了，换hard negatives试试，另外微调学习率别太大，容易把通用能力带崩。

法律领域术语密集，随机负样本确实容易让模型学不到区分度，hard negatives 对这类场景帮助挺大的。不过你微调后变差，也可能是训练数据里的问答对本身就不太适合做对比学习，裁判文书里的表述跟真实 query 分布差挺远的。可以试试先用少量数据只微调一两轮，看验证集检索指标再决定要不要继续。另外通用能力下降基本是必然的，bge 这种模型微调狠了会遗忘，得控制学习率和步数。

微调embedding做RAG翻车这事儿我踩过一模一样的坑，法律领域也是术语密集，微调完召回反而掉了几个点。你怀疑负样本太随意基本是命中了，随机采的负样本在裁判文书里往往跟正样本共享大量法律术语，模型学到的区分信号特别弱，甚至会把本来该拉近的样本推远。我当时换成同案由不同判决结果的段落做hard negative，再混一点BM25召回的top假阴性，效果才慢慢回来。温度参数也别忽略，contrastive loss里温度太低会让模型对噪声极其敏感，法律文本又长又啰嗦，稍微调高一点反而稳。还有一点容易被忽视，就是你微调时用的query和实际检索时的query分布可能不一致，裁判文书抽的问答对偏正式，用户真实提问往往很短很口语，这个gap会让微调后的向量空间对不上。通用能力下降几乎是必然的，建议要么加一部分通用语料做正则，要么干脆别全量微调，只调最后几层或者用LoRA试试。

负样本随机采确实容易崩，试试用bge的难负样本挖掘，另外微调时加一点原始数据混着训能防通用能力掉。

随机负样本太简单了，模型学不到东西，换成hard negatives试试，另外温度别设太低。

负样本随机采确实容易翻车，hard negatives对法律这种细粒度领域太关键了，建议先试试不微调加个rerank。

随机负样本基本没用，换hard negatives试试，另外微调时加一点通用数据混着训，不然确实会遗忘。

随机负样本确实容易翻车，换成难负例试试，法律领域术语太像了。

我之前也踩过这个坑，随机负样本对法律领域来说太简单了，模型根本学不到细粒度区分。换成batch内hard negative后确实有提升，但要注意别把假阴性当负例，否则更糟。另外微调时学习率别调太大，小一点加warmup，不然通用能力掉得厉害。你评估的时候最好把微调前后的检索结果都拉出来看看，有时候是某个子领域变差拖累了整体。

我之前也踩过一模一样的坑，拿bge-large-zh在医疗问答上微调，结果检索top10命中率直接掉了七八个点，当时人都麻了。后来复盘发现最大的问题就是负样本，随机采的负样本太“简单”了，模型学到的判别边界跟你实际检索场景完全不匹配，反而把原来预训练学好的语义空间给带偏了。hard negatives确实更管用，但也不能太hard，得是那种语义相近但实际不相关的，比如同一条法律条文下的不同解释，或者相似案由但答案不同的pair，这个度挺难拿捏的。另外你那个contrastive loss的温度参数也很关键，bge默认的0.02其实挺激进的，微调时如果数据量不大，温度调高一点比如0.05会稳一些。还有个容易被忽略的点是，微调的时候最好混一些通用语料进去，不然灾难性遗忘真的很明显，我后来是领域数据和通用数据按3:1混着训才把通用能力拉回来。对了，你训练数据是从裁判文书抽的问答对，有没有做去重和难例挖掘？文书里很多pair其实语义高度重叠，模型学不到啥东西。