最近在做一个内部知识库的RAG问答,文档主要是PDF和Word,按固定500字切分的,重叠100字。但实际跑起来发现检索top5里经常有3-4条是同一段内容的碎片,拼起来反而是重复的,导致给LLM的上下文很冗余。也试过按段落切,但表格和标题会断掉。想问问大家一般怎么处理这种切分粒度的问题?是不是该上语义切分或者加个去重逻辑?有点迷茫,求指点。