最近在做企业知识库的RAG应用,发现通用embedding模型对行业术语匹配不准(比如“熔断器”和“断路器”分不清),就想着微调一下bge-small。我用人工标注的正负样本对跑了几轮对比学习,loss降得挺漂亮,但上线后发现检索结果反而更差了——明明相关的文档排到了后面,不相关的倒跑前面去了。是不是我样本构造有问题?还是学习率调太大了?或者微调后需要重新做索引?求有经验的大佬指点一下,现在整个人都麻了。
最近在做企业知识库的RAG应用,发现通用embedding模型对行业术语匹配不准(比如“熔断器”和“断路器”分不清),就想着微调一下bge-small。我用人工标注的正负样本对跑了几轮对比学习,loss降得挺漂亮,但上线后发现检索结果反而更差了——明明相关的文档排到了后面,不相关的倒跑前面去了。是不是我样本构造有问题?还是学习率调太大了?或者微调后需要重新做索引?求有经验的大佬指点一下,现在整个人都麻了。
很可能是负样本质量不够硬,模型学偏了,试试多挖一些难负例吧。