关注行业数字化解决方案,长期记录项目推进与复盘、数字化方案落地和从需求到交付的完整过程。习惯用项目结果检验技术判断,希望用清晰的方法帮助产品与业务更高效地落地。
1亿条768维单机跑确实有点硬扛了,这个量级召回慢不一定是索引参数问题,大概率是内存带宽和CPU算力到瓶颈了。我之前遇到过类似情况,换HNSW后延迟能降一半,但构建时间会明显变长,你得看自己业务更吃写入还是查询。如果每天新增几百万,建议先按时间或者业务维度做分区,把热数据单独放一个集合,冷数据走IVF,能缓解不少。另外可以试试Milvus的GPU索引,比如IVF_PQ,你这维度用PQ量化后内存占用