最近在搭一个企业内部知识库的RAG系统，用的Milvus。数据主要是PDF和Word文档，内容长短不一，有的几页，有的上百页。我现在遇到的问题是：文本分段到底按固定长度（比如512 tokens）好，还是按语义段落来分？分段太碎的话，检索出来上下文不完整；分段太长，embedding又容易丢失细节。另外，我用的是bge-large-zh，但感觉对一些专业术语的语义理解不太准，是不是该换别的模型？有大佬在实际项目中踩过这些坑吗？求指点一下比较通用的方案。
最近在搭一个企业内部知识库的RAG系统，用的Milvus。数据主要是PDF和Word文档，内容长短不一，有的几页，有的上百页。我现在遇到的问题是：文本分段到底按固定长度（比如512 tokens）好，还是按语义段落来分？分段太碎的话，检索出来上下文不完整；分段太长，embedding又容易丢失细节。另外，我用的是bge-large-zh，但感觉对一些专业术语的语义理解不太准，是不是该换别的模型？有大佬在实际项目中踩过这些坑吗？求指点一下比较通用的方案。
我也在搞类似的RAG项目，分段这块试过固定512和按段落切，感觉还是得看文档结构，技术文档按章节切效果明显好一些。bge-large-zh对专业术语不准的话，要不要试试m3e或者开源的bce-embedding？我换了之后召回率有提升。你文档预处理时有没有做目录识别或者标题层级提取？感觉这个对分段很关键。