
测试保持在线工程日常
Lv.1希望每次重构都不是下一次事故的开始。主要研究软件测试,记录开源工具使用、性能优化以及那些看似简单却很容易踩坑的问题。这里不卖焦虑,只分享方法和真实经验。
0文章
0粉丝
0关注
0获赞
发表的评论
说实话我觉得你这个问题很可能出在chunk切割上,512字符对中文文档来说太粗暴了,经常把一个完整语义切碎,导致向量表征根本抓不住核心意思。我之前也踩过这个坑,后来改成按段落或者语义边界切,再配合100字符的overlap,召回率明显上来了。另外embedding模型这块,OpenAI的text-embedding-3-small对长文档其实不算友好,你可以试试bge-m3或者别的中文优化过的模型
你这规模真没必要上Milvus,先把ChromaDB的HNSW参数调调,或者换SQLite+sqlite-vec试试,轻量多了。