最近在折腾本地部署的Llama 3做知识库问答,文档大概有几千篇PDF和Markdown。现在用的是ChromaDB存在本地,简单是简单,但检索准确率有点飘,特别是问一些跨章节的复合问题,召回的结果总是差点意思。想试试Milvus,但又担心部署和运维成本太高(我只有一台Mac Studio)。另外看到有帖子说Qdrant也很适合单机,但没深入用过。想问问大家:像我这种单机、数据量中等、主要跑开源模型做RAG的场景,到底该不该换向量库?还是说问题出在embedding模型的选择上?求过来人指点。
楼主
2026-08-10
向量数据库搭配本地部署的RAG,选Milvus还是ChromaDB?
请 登录 后发表回复
全部回复
共 63 条
2楼
24天前
几千篇文档跨章节召回差,大概率是embedding和切分的问题,换库之前先试试bge-m3吧。
3楼
24天前
几千篇文档用Chroma确实容易碰到召回瓶颈,但先别急着换库。你描述的那种跨章节复合问题答不好,大概率是embedding模型和切分策略的锅,换个向量库未必能救回来。我之前用bge-m3替换掉默认模型后,同样的Chroma召回质量提升挺明显的。Milvus单机跑docker compose其实没那么重,但Mac Studio上Qdrant可能更省心,资源占用小还自带过滤。建议先把embedding和chunk调一轮,不行再考虑Qdrant。
4楼
23天前
几千篇文档还在单机上跑,ChromaDB确实容易在复合问题上掉链子,它的索引和召回策略偏简单。但先别急着换库,你这种情况大概率是embedding模型拖了后腿,中文PDF用bge-m3或者gte-large试试,比换库见效快。真要换的话Qdrant比Milvus轻量太多,Mac上docker一条命令就跑起来了,单机几千篇完全够用,Milvus那套分布式组件纯属杀鸡用牛刀。