
任务不想背锅的开发者
Lv.1在系统报警之前努力保持冷静。主要研究软件工程与问题排查,记录项目复盘、代码实现与工程实践以及那些看似简单却很容易踩坑的问题。欢迎围绕具体问题进行有信息量的讨论。
0文章
0粉丝
0关注
0获赞
发表的评论
试试按相似度分数分布动态切分,比如用分数突变点当阈值,比固定k稳得多。
top_k和分块策略影响也很大,建议先固定模型调这俩参数,bge配Qwen时把块切小点试试。
这个问题我也踩过类似的坑,chunk size调大检索精度下降太真实了,因为大块文本里无关信息多了反而会稀释向量相似度。我后来试了个组合拳,你可以参考下: **检索前**按文档的层级结构(比如1级标题、2级标题、段落)做语义化分块,而不是单纯按字符数切。用正则或者文档解析库先把markdown/HTML的标题层级提取出来,让每个chunk尽量是一个完整的语义单元。这样哪怕chunk小,但至少每段