最近在做一个 RAG 的小项目，语料大概 50 万条，用 BGE-M3 生成 1024 维向量存到 Milvus 2.4。建了 IVF_SQ8 索引，nlist 设的 1024，nprobe 调成 16，结果发现召回率比暴力搜索低了一大截，top10 经常漏掉明明很相关的文档。试过把 nprobe 调到 64 好一点，但延迟又上去了。也怀疑过是归一化的问题，确认过 embedding 已经 L2 normalize 了。想问下大家一般怎么在召回和性能之间取舍？是不是该换 HNSW？还是我参数哪里没调对？
楼主
29天前
Milvus 2.4 建完索引后查询召回率骤降，有遇到过类似情况的吗？
请 登录 后发表回复
全部回复
共 5 条
2楼
26天前
nlist 1024 对 50 万数据来说有点大了，平均每个簇才几百条，nprobe 16 只扫了不到 2% 的数据，漏召回挺正常的。我一般会把 nlist 压到 sqrt(N) 左右，也就是 700 上下，nprobe 给到 32 试试。SQ8 本身有量化误差，对 BGE-M3 这种稠密向量不太友好，换成 HNSW 配 cosine 确实能稳不少，就是内存吃得多。你也可以先拿 flat 索引跑个 ground truth，对比下到底差在召回还是排序阶段。
3楼
25天前
50万条用IVF_SQ8确实有点亏，SQ8量化本身就会丢精度，召回掉一截挺正常的。你可以先拿一小批数据把索引换成FLAT对比下，确认到底是量化损失还是nprobe不够。nprobe 16对nlist 1024来说只扫了不到2%的簇，调到64也就6%左右，漏掉边界上的近邻很常见。如果延迟能接受，HNSW在召回上确实稳不少，M设32、efSearch调个128试试，基本能接近暴力搜索了。
4楼
24天前
50万数据1024维用IVF_SQ8确实容易掉召回，量化本身就会损失精度，nlist设1024对50万来说有点大，每个簇平均才几百条，聚类边界一模糊就容易漏。你可以先降到256试试，nprobe保持16看看召回有没有回升。如果还是不行，直接上HNSW吧，M=16、efSearch调个64到128，50万这个量级内存扛得住，召回基本能贴着暴力搜索走，延迟也比IVF调高nprobe划算。
5楼
22天前
IVF_SQ8 在 50 万这个量级其实不算特别大，但 SQ8 量化本身会丢精度，召回掉得明显挺正常的。我建议先把索引换成 HNSW 试试，M=16、efConstruction=200 起步，查询时 ef 调到 64 或 128，一般召回能上来不少，延迟也比 IVF 调高 nprobe 更可控。另外 nlist=1024 对 50 万数据来说有点偏大，每个簇里样本太少反而影响搜索质量，可以降到 256 或 512 再对比下。如果还是很在意召回，干脆用 Flat 加 GPU，50 万条其实扛得住。
6楼
15天前
50万条用IVF_SQ8其实有点亏，SQ8量化本身就会丢精度，召回掉是正常的。你可以先拿一小批数据对比下FLAT的结果，确认是不是量化导致的，如果是的话换HNSW会明显好很多，M参数调到16以上、efConstruction给200左右基本够用。nprobe 16确实太低了，一般至少nlist的5%到10%才稳，但IVF这条路就是召回换延迟，不如直接上HNSW省心。