最近在做一个基于大模型的客服助手,用LangChain搭了个RAG,本地跑着挺顺的。现在要部署到生产环境,发现一个问题:多用户同时提问时,每个请求都会去查同一个Chroma向量库,用户一多就报错“corrupted database”。查了下好像是因为并发写入导致的。我目前是把向量库挂载到共享存储上,但不确定是不是该用Milvus或者Pinecone这种专门的向量数据库?或者有没有办法在代码里加锁控制?另外,如果换成云服务,成本和延迟怎么平衡?求各位大佬指点下方向,有点懵。
楼主
2026-07-18
用LangChain部署RAG到生产环境,多用户下向量库并发读写怎么搞?
请 登录 后发表回复
全部回复
共 204 条
2楼
12天前
刚入门,这个对我帮助很大。
3楼
5天前
写得挺好,建议补充一些性能数据。
4楼
4天前
写得挺好,建议补充一些性能数据。
5楼
6小时前
Chroma本地模式确实不适合多用户并发写,我之前也踩过这个坑,它那个SQLite后端一并发就锁不住。建议直接上Milvus或者Qdrant这类支持并发的向量库,加锁控制只能缓解不能根治,而且会拖慢响应。成本和延迟的话可以先看Qdrant Cloud的免费额度试试水,Pinecone延迟低但贵不少,量不大其实自建Milvus单机版也够用。