一、问题背景

我们内部有一个面向研发团队的技术文档问答助手,语料是约800份内部Wiki、接口文档和故障复盘,总计约1200万字。第一版RAG系统上线时用的是最朴素的方案:LangChain的RecursiveCharacterTextSplitter固定切分 + OpenAI text-embedding-ada-002 + Milvus向量检索Top-5,然后直接塞给GPT-3.5-turbo生成。

上线两周后收集了200条真实提问做人工评测,结果很难看:

  • 检索环节Recall@5 = 0.61,也就是说近40%的问题,正确答案所在的文档片段根本没被召回
  • 端到端答案准确率 = 54.2%
  • 用户反馈里最高频的一句话是"答非所问"和"引用的文档不对"

更麻烦的是,很多错误不是生成模型的锅——把Ground Truth片段直接喂给模型,准确率能到91%。问题明确出在检索侧。于是我们启动了这轮优化,目标是把Recall@5拉到0.85以上,端到端准确率到80%+,同时延迟不能恶化太多(P95控制在3s内)。

二、环境与版本

先把环境交代清楚,避免读者对不上号:

Python 3.10.13
langchain 0.1.16
langchain-community 0.0.34
pymilvus 2.4.0
Milvus 2.3.4 (standalone, 16C32G)
sentence-transformers 2.7.0
torch 2.2.1 (CUDA 12.1, 单卡 A10 24G)
FlagEmbedding 1.2.10
openai 1.23.2 (仅用于最终生成,GPT-3.5-turbo)

Embedding和Rerank模型都部署在本地A10上,用FastAPI包了一层推理服务,避免每次请求都加载模型。Milvus索引用的是IVF_FLAT,nlist=1024,度量方式IP(内积,embedding已归一化)。

三、方案设计

整体思路是三段式改造,每一步单独量化收益,方便定位贡献:

第一步:Chunk策略调整。 原来是chunk_size=512, chunk_overlap=0的固定字符切分。技术文档里代码块、表格、标题层级多,固定切分经常把一个函数说明从中间劈开,或者把标题和正文分离。改为:先按Markdown标题(H1/H2/H3)做结构切分,再对超长段落用RecursiveCharacterTextSplitter做二次切分,chunk_size=384, chunk_overlap=64,分隔符优先["\n\n", "\n", "。", ";", " "]。同时给每个chunk的metadata打上doc_title、heading_path、source,并在文本前拼接标题路径(这点后面踩坑部分会讲)。

第二步:Embedding模型切换。 text-embedding-ada-002是通用英文偏置模型,中文技术语料上表现一般,而且走API有网络抖动。换成BAAI/bge-large-zh-v1.5(1024维),检索时query加官方推荐指令前缀"为这个句子生成表示以用于检索相关文章:",doc侧不加。归一化后用内积。

第三步:引入Rerank。 向量检索Top-20作为候选,用BAAI/bge-reranker-base做cross-encoder重排,取Top-5送生成。这是典型的"召回宽、精排窄"两阶段结构。

四、核心实现

4.1 结构化Chunk切分

import re
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.schema import Document

def split_markdown_doc(text: str, meta: dict, max_len: int = 384, overlap: int = 64):
    """按 Markdown 标题层级切分,再对超长块做递归切分"""
    # 按 H1/H2/H3 切出 section
    pattern = re.compile(r'(^#{1,3}\s+.+$)', re.MULTILINE)
    parts, last_pos, last_title = [], 0, ""
    for m in pattern.finditer(text):
        if m.start() > last_pos:
            parts.append((last_title, text[last_pos:m.start()]))
        last_title = m.group(1).strip()
        last_pos = m.start()

    parts.append((last_title, text[last_pos:]))

    splitter = RecursiveCharacterTextSplitter(
        chunk_size=max_len,
        chunk_overlap=overlap,
        separators=["\n\n", "\n", "。", ";", " "],
        length_function=len,
    )

    chunks = []
    heading_stack = []
    for title, body in parts:
        if title:
            level = len(title) - len(title.lstrip('#'))
            heading_stack = heading_stack[:level - 1] + [title.lstrip('# ').strip()]
        heading_path = " > ".join(heading_stack)

        for sub in splitter.split_text(body):
            if len(sub.strip()) < 30:   # 丢弃过短碎片
                continue
            # 关键:把标题路径拼进正文,提升语义完整性
            content = f"【{heading_path}】\n{sub}" if heading_path else sub
            chunks.append(Document(
                page_content=content,
                metadata={**meta, "heading_path": heading_path}
            ))
    return chunks

4.2 Embedding + Rerank 检索链路

from FlagEmbedding import FlagModel, FlagReranker
from pymilvus import Collection
import numpy as np

embedder = FlagModel("BAAI/bge-large-zh-v1.5",
                     query_instruction_for_retrieval="为这个句子生成表示以用于检索相关文章:",
                     use_fp16=True)
reranker = FlagReranker("BAAI/bge-reranker-base", use_fp16=True)

collection = Collection("tech_docs")
collection.load()

def retrieve(query: str, top_k: int = 5, recall_k: int = 20):
    # 1) 向量召回
    q_vec = embedder.encode_queries([query])[0]
    q_vec = q_vec / np.linalg.norm(q_vec)
    res = collection.search(
        data=[q_vec.tolist()],
        anns_field="embedding",
        param={"metric_type": "IP", "params": {"nprobe": 32}},
        limit=recall_k,
        output_fields=["content", "source", "heading_path"],
    )
    cands = [{"content": h.entity.get("content"),
              "source": h.entity.get("source"),
              "score": h.score} for h in res[0]]

    # 2) Rerank 精排
    pairs = [[query, c["content"]] for c in cands]
    scores = reranker.compute_score(pairs, normalize=True)
    for c, s in zip(cands, scores):
        c["rerank_score"] = float(s)

    cands.sort(key=lambda x: x["rerank_score"], reverse=True)
    return cands[:top_k]

几个参数值得说明:nprobe=32是压测后选的,再往上Recall增益<0.5%但延迟线性涨;recall_k=20是Rerank的候选池大小,我们试过10/20/30,20是性价比拐点。

五、踩坑与优化

坑1:Rerank分数阈值不能直接拿来卡。 一开始想用rerank_score < 0.3过滤无关片段,结果发现bge-reranker的分数分布随query类型漂移严重,短query分数普遍偏高,长query偏低,固定阈值误杀率很高。后来改成"始终取Top-5,但在生成prompt里按分数排序并标注置信度",让模型自己判断,反而更稳。

坑2:标题拼接带来的重复。 把heading_path拼进正文后,同一section下的多个chunk前缀高度相似,向量空间里挤在一起,导致Top-5里出现3条同章节的近似片段。解决办法是在入库后做了一次简单的MMR去重(lambda=0.7),召回多样性明显改善。

坑3:bge query指令前缀忘了加。 第一次切换模型后指标只涨了2个点,排查半天发现query编码时没加instruction前缀。补上之后Recall@5直接又涨了6个点。这个坑很隐蔽,因为不加前缀也不会报错,只是效果打折。

坑4:Milvus的IP度量与归一化。 bge输出默认未归一化,IP度量下长文本向量模长更大,会系统性偏向长chunk。我们在入库和查询两侧都做了L2归一化,才让IP等价于cosine。

坑5:Rerank的batch与延迟。 单条请求20个pair,compute_score默认batch_size=256会一次性吃满显存并拉高延迟。改成batch_size=8后,A10上单次Rerank耗时从约420ms降到180ms左右。

六、效果数据

评测集:200条真实提问,人工标注Ground Truth片段。指标为Recall@5、MRR、端到端人工准确率(双人标注,分歧仲裁),延迟为线上P95。

方案 Recall@5 MRR 端到端准确率 P95延迟
Baseline(512固定切分 + ada-002 + 无rerank) 0.61 0.48 54.2% 2.1s
+ 结构化切分(384/64) 0.68 0.54 60.5% 2.0s
+ 切换 bge-large-zh-v1.5 0.79 0.66 72.3% 2.2s
+ 引入 bge-reranker-base(Top20→5) 0.89 0.78 86.7% 2.4s

几点解读:

  1. 切分改造贡献了+7个点Recall,成本几乎为零,是性价比最高的一步。很多团队一上来就换模型,其实先把chunk切明白收益更大。
  2. Embedding切换贡献+11个点,中文技术语料上bge确实比ada-002强不少,而且本地部署后省了API费用和网络抖动。
  3. Rerank贡献+10个点Recall、+14个点端到端准确率,延迟只增加约180ms(batch=8优化后)。这是本轮优化里单步收益最大的环节,因为cross-encoder能捕捉query和chunk的细粒度交互,这是双塔向量做不到的。
  4. 端到端准确率涨幅(54.2%→86.7%)大于Recall涨幅,说明Rerank不仅提升了召回,还改善了送入生成模型的片段排序质量,减少了模型被无关上下文干扰的情况。

七、总结

这轮优化下来,最大的体会是:RAG的效果瓶颈绝大多数时候在检索侧,而不是生成侧。 把Ground Truth喂给GPT-3.5能到91%,说明模型能力够用,问题在于我们没把对的材料递到它手上。

三条可复用的经验:

  • 先切分后换模型。结构化切分零成本、收益确定,应该作为第一优先级。chunk_size不要迷信512,中文技术文档384+64 overlap实测更好。
  • Embedding选型要看语料语言和领域。中文场景bge-large-zh-v1.5是目前性价比很高的选择,记得query侧加instruction前缀。
  • Rerank是两阶段检索的标配。召回宽(Top20)、精排窄(Top5),延迟代价可控,收益立竿见影。注意batch_size调小、别用固定分数阈值卡结果。

后续还打算试的方向:query改写(HyDE)、父子chunk(small-to-big)、以及把Rerank模型换成更大的bge-reranker-large看是否还有增益。有进展再写一篇。