最近在做公司内部的文档问答系统,用的是LangChain+Chroma这套。目前卡在Embedding选择上,因为数据是纯中文的,看很多教程都推荐BGE系列,但也有人说直接调OpenAI的text-embedding-ada-002效果更好。我本地跑了一下BGE-large-zh,感觉速度还行,但召回率没做严格评测,心里没底。想请教下大家,在中文场景下,BGE和OpenAI的Embedding实际效果差距有多大?另外,如果后续要接入Rerank模型,是不是对Embedding的要求就没那么高了?预算有限,不想走弯路,求过来人指点。
楼主
2026-08-20
RAG项目里Embedding模型到底怎么选?BGE和OpenAI差距大吗?
请 登录 后发表回复
全部回复
共 43 条
2楼
28天前
纯中文场景下BGE-large-zh和ada-002差距没想象中大,尤其你有Rerank兜底的话,Embedding那点召回差异基本能被拉回来。我自己测过内部工单数据,BGE召回率只低两三个点,但省下的API费用和延迟很实在。建议先用BGE跑通全链路,真遇到badcase多再考虑换模型或加微调。另外Chroma记得用cosine距离,不然归一化没做对结果会很难看。
3楼
26天前
我们公司之前做中文知识库也纠结过这个,实测下来BGE-large-zh在中文语义匹配上不比ada-002差,有些垂直领域甚至更好,而且本地部署没API成本和数据外泄风险。不过你得注意BGE对输入长度有限制,长文档得先切好。加了Rerank之后Embedding的差距确实会被抹平不少,我们后来就换成bge-small加bge-reranker,效果和成本都挺香。建议你先拿几百条真实query做个召回评测,别凭感觉选。
4楼
26天前
纯中文场景BGE够用了,跟ada差距真没想象中大,省下的钱不如加个rerank提升明显。