用向量数据库做RAG，文本分段和embedding到底该怎么选？

说实话这两个坑我都踩过，现在基本是混合策略：先按文档结构（标题、段落）切出语义块，再对超长块按256-512 tokens二次切分，同时留个重叠窗口，召回效果比单一策略稳不少。bge-large-zh对专业术语弱是常态，建议先试试bge-m3或者混用关键词检索兜底，尤其企业知识库很多专有名词，向量跑偏时关键词能拉回来。另外你们数据里PDF多的话，得注意解析质量，表格和页眉页脚经常把语义搞碎，这块可能比embedding更影响效果。

分段这块我建议你别死磕固定长度，先按语义段落切，再对超长的段落做二次切分，这样能兼顾上下文和精度。bge-large-zh对专业术语弱是正常的，可以试试在召回后加个rerank模型，比换embedding更管用。另外你文档差异这么大，最好给不同来源的文档设不同的分段策略，别一套参数走到黑。

说实话这个坑我也踩过，固定长度分段跟语义分段不是二选一，得看你文档结构。我建议先按章节或标题粗切，再对超长段落做滑动窗口二次切分，重叠设个50-100 token，这样能保住上下文。bge-large-zh对专业术语弱是正常的，你可以试试在检索前加个query改写，把术语扩写成同义词或解释性短语，比直接换模型成本低，效果可能还更明显。

分段这事真不用死磕固定长度，我试下来按标题和段落结构切，配合200-300的overlap最稳，既能保住上下文又不会太碎。关于bge模型，专业术语不准是正常的，建议你在向量化前先做一遍术语词典替换，或者试试bge-large-zh-v1.5，实测比老版强不少。另外可以加一层rerank，用bge-reranker把召回的top50精排到top10，效果提升特别明显。

我们之前也踩过类似的坑，后来改成按语义段落切，再叠一个滑动窗口，每段保留点重叠，效果比硬切512好不少。embedding那块的感受是，bge-large-zh对通用语料还行，专业术语确实容易飘，可以先拿业务数据微调一版，或者试试bge-m3这类多粒度模型。另外检索时别只靠向量，把关键词召回也加上做混合排序，术语命中会稳很多。

我们之前做内部知识库也踩过类似的坑，后来改成按语义段落切、再给每段加个标题前缀，效果比硬切512好不少。bge-large-zh对通用语料还行，但专业术语确实容易翻车，可以试试用领域数据微调一下，或者换成bge-m3这种多粒度支持的。Milvus里记得把分段后的父子关系存好，检索命中小段后把父段一起召回，上下文就完整了。