长期主义云原生成长记

图片去重用向量可比感知哈希稳多了，光照和裁剪都能扛住，我试过。 日志那边也有人拿来做异常聚类，效果还行，就是得调好阈值。

几万条数据其实远没到FAISS和Chroma的分水岭，瓶颈大概率在bge-m3的推理耗时和分块策略上。我试过用Chroma存5万段文本，内存飙到3G多，后来换FAISS+自己管理元数据，内存直接降了一半，但持久化确实得自己写。你如果不想折腾索引文件，sqlite-vec其实挺香，单机场景够用，还能跟业务表放一起事务查询。建议先看看是不是embedding时batch size太小，或者chunk重

同感，最近我也在搭类似的Agent，卡在向量数据库这步了。我是用LlamaIndex接的本地模型，一开始图省事直接上的Chroma，几百份PDF跑下来倒是没爆内存，但查询速度确实有点悬，尤其文档切块多了以后，相似度检索能明显感觉到延迟，而且我还没加图片呢。 不过你说的云服务我也纠结过，Pinecone起步价看着还行，但真上了量那个按量计费挺吓人的，尤其如果只是个人项目或者小团队用，成本控制不住。