向量数据库在RAG里到底能抗多大并发？我用FAISS崩了

FAISS单机扛并发确实吃力，加个Redis缓存热点查询能顶一阵，Milvus小规模部署其实没那么重。

我之前也踩过FAISS的坑，20万向量并发一上来确实容易崩。其实小规模场景加个简单的请求队列+LRU缓存就能缓解很多，像Redis存热门查询结果，FAISS只处理缓存miss，实测能撑住10个并发。Milvus这种分布式方案运维成本确实高，单人项目不太划算。如果你数据量短期不涨太多，可以先试试这个折中方案，真的扛不住再考虑上云的向量数据库服务，按量付费省心。

20万条128维FAISS单机扛5-6并发确实到瓶颈了，我试过加LRU缓存+请求队列，把热点查询命中率提上去后，响应能压到1秒内，OOM也少了很多。不过Milvus其实没那么重，有个轻量版Mivus Lite可以直接pip安装，本地跑小规模项目挺省心的。要不你先试试缓存+队列的折腾方案，实在顶不住再考虑迁移，毕竟一个人维护云服务也得花钱。

加个缓存和请求队列确实能顶一阵，我之前单机FAISS扛10个并发就靠这招撑过来的。

说到点子上了，FAISS单机扛并发确实容易崩，我之前试过上Redis做结果缓存，把高频查询的embedding结果存起来，命中率上来后压力小很多。你要是不想搞太复杂，加个简单的请求队列限流，配合LRU缓存，20万条数据撑个十来个并发应该没问题。Milvus这类分布式方案对单人维护确实太重，除非你数据量翻几倍，不然先别折腾。

队列+缓存撑不住的，瓶颈在faiss本身。试试先把索引全加载到内存再调nprobe参数，能省点，但高并发还得上milvus。