最近在做一个小型的RAG问答系统,用的是LangChain+Chroma,文档主要是技术手册和产品说明。我试了256、512、1024这几个chunk大小,但效果差别很大——小的chunk召回准确但信息不全,大的chunk信息全了但经常混进无关内容。另外还纠结要不要加重叠(overlap),加了感觉检索重复,不加又怕断句。想请教有经验的朋友,这个参数一般怎么根据文档类型和查询场景来调?有没有什么经验法则或者调试工具?先谢过!
最近在做一个小型的RAG问答系统,用的是LangChain+Chroma,文档主要是技术手册和产品说明。我试了256、512、1024这几个chunk大小,但效果差别很大——小的chunk召回准确但信息不全,大的chunk信息全了但经常混进无关内容。另外还纠结要不要加重叠(overlap),加了感觉检索重复,不加又怕断句。想请教有经验的朋友,这个参数一般怎么根据文档类型和查询场景来调?有没有什么经验法则或者调试工具?先谢过!
暂无回复,快来抢沙发吧