最近在搭一个知识库问答系统,文档量大概几十万篇,用的OpenAI embedding。一开始图省事直接存pgvector里,但查起来感觉召回率不太行,尤其是一些语义相近但表述不同的句子。后来看很多人说专用向量数据库效果好,就试了试Milvus,确实快一些,但部署和维护成本上来了。有点纠结:是不是我数据量还没到必须上专用库的程度?还是说pgvector的索引参数没调好?另外,未来如果数据涨到千万级,从pgvector迁移到Milvus是不是很痛苦?有没有大佬分享一下实际业务里的选型经验,顺便说说HNSW和IVF这些索引到底怎么选?先谢过。
楼主
14天前
向量数据库做RAG一定要用吗?pgvector和Milvus怎么选?
请 登录 后发表回复
全部回复
共 41 条
2楼
1天前
几十万篇这个量级其实pgvector调好了够用,问题多半出在索引参数和embedding的切分策略上,HNSW的M和efConstruction多跑几组对比试试。Milvus快是快,但运维成本确实得算进ROI里,尤其团队没有专职infra的话。迁移这事倒不用太慌,数据量真到千万级之前一般会有其他瓶颈先暴露,到时候重写召回层比搬数据更麻烦。索引选择上,数据分布均匀就HNSW,有明显聚类倾向再考虑IVF,但IVF训练耗时在数据增长后很头疼。