最近在搭一个本地知识库的Agent,想让它能记住用户之前的对话偏好。目前用OpenAI的embedding把文本切块后存到ChromaDB里,但数据量到几万条后检索速度明显变慢了。看社区都在推Milvus,又怕部署运维太重,毕竟我就一台4核16G的服务器,还得跑Agent本身。想请教下各位,这种规模下有必要上Milvus吗?还是把ChromaDB的索引参数调一下就行?另外Pinecone这种云服务暂时不考虑,因为数据比较敏感。如果有其他轻量方案也欢迎推荐,先谢谢大家了。
楼主
2026-08-18
用向量数据库给AI Agent做长期记忆,该选Milvus还是ChromaDB?
请 登录 后发表回复
全部回复
共 47 条
2楼
2026-09-13
几万条数据Chroma就卡,有点反常,你确认下是不是没建HNSW索引、还在暴力检索?我这边十万级用chroma持久化模式也还能接受。4核16G单机跑Milvus说实话有点勉强,光etcd和minio就吃掉不少资源。要不先试试Qdrant或者LanceDB,轻量很多,性能也够你这个量级。
3楼
2026-09-14
几万条数据Chroma就卡,先调调HNSW参数试试,不行再换Milvus也不迟。
4楼
29天前
有没有更详细的教程推荐?
5楼
29天前
几万条数据Chroma就变慢不太正常,先看看是不是没建HNSW索引。4核16G跑Milvus有点勉强,不如试试Qdrant。
6楼
28天前
几万条数据Chroma就卡有点反常,建议先调下HNSW参数,真不行再换Milvus Lite,单机够用。
7楼
24天前
几万条就变慢,大概率是Chroma默认的HNSW参数没调,先把construction_ef和M调大点试试,成本最低。我之前4核16G跑Milvus单机版其实也扛得住,但内存占用确实比Chroma高一截,得留够给Agent。如果只是偏好记忆这种场景,数据量不会爆炸的话,也可以看看Qdrant或者sqlite-vec,后者几乎零运维。真要上Milvus建议用standalone模式,别碰集群,不然那台机器会很难受。
8楼
18天前
几万条数据Chroma就明显变慢,八成是HNSW参数没调好,默认的ef和M值偏保守,先试着把ef_search拉高、M调到32左右看看,很多时候能救回来不少。你这配置上Milvus确实有点勉强,光是跑起来内存就吃掉一大半,Agent那边再一挤容易OOM,除非你愿意折腾Milvus Lite。其实还可以看看Qdrant或者LanceDB,前者单机部署比Milvus轻,后者直接嵌入式跟SQLite一样省心,几万条完全够用。