一、问题背景
我们内部有一个面向研发团队的技术文档问答助手,语料是约800份内部Wiki、接口文档和故障复盘,总计约1200万字。第一版RAG系统上线时用的是最朴素的方案:LangChain的RecursiveCharacterTextSplitter固定切分 + OpenAI text-embedding-ada-002 + Milvus向量检索Top-5,然后直接塞给GPT-3.5-turbo生成。
上线两周后收集了200条真实提问做人工评测,结果很难看:
- 检索环节Recall@5 = 0.61,也就是说近40%的问题,正确答案所在的文档片段根本没被召回
- 端到端答案准确率 = 54.2%
- 用户反馈里最高频的一句话是"答非所问"和"引用的文档不对"
更麻烦的是,很多错误不是生成模型的锅——把Ground Truth片段直接喂给模型,准确率能到91%。问题明确出在检索侧。于是我们启动了这轮优化,目标是把Recall@5拉到0.85以上,端到端准确率到80%+,同时延迟不能恶化太多(P95控制在3s内)。
二、环境与版本
先把环境交代清楚,避免读者对不上号:
Python 3.10.13
langchain 0.1.16
langchain-community 0.0.34
pymilvus 2.4.0
Milvus 2.3.4 (standalone, 16C32G)
sentence-transformers 2.7.0
torch 2.2.1 (CUDA 12.1, 单卡 A10 24G)
FlagEmbedding 1.2.10
openai 1.23.2 (仅用于最终生成,GPT-3.5-turbo)
Embedding和Rerank模型都部署在本地A10上,用FastAPI包了一层推理服务,避免每次请求都加载模型。Milvus索引用的是IVF_FLAT,nlist=1024,度量方式IP(内积,embedding已归一化)。
三、方案设计
整体思路是三段式改造,每一步单独量化收益,方便定位贡献:
第一步:Chunk策略调整。 原来是chunk_size=512, chunk_overlap=0的固定字符切分。技术文档里代码块、表格、标题层级多,固定切分经常把一个函数说明从中间劈开,或者把标题和正文分离。改为:先按Markdown标题(H1/H2/H3)做结构切分,再对超长段落用RecursiveCharacterTextSplitter做二次切分,chunk_size=384, chunk_overlap=64,分隔符优先["\n\n", "\n", "。", ";", " "]。同时给每个chunk的metadata打上doc_title、heading_path、source,并在文本前拼接标题路径(这点后面踩坑部分会讲)。
第二步:Embedding模型切换。 text-embedding-ada-002是通用英文偏置模型,中文技术语料上表现一般,而且走API有网络抖动。换成BAAI/bge-large-zh-v1.5(1024维),检索时query加官方推荐指令前缀"为这个句子生成表示以用于检索相关文章:",doc侧不加。归一化后用内积。
第三步:引入Rerank。 向量检索Top-20作为候选,用BAAI/bge-reranker-base做cross-encoder重排,取Top-5送生成。这是典型的"召回宽、精排窄"两阶段结构。
四、核心实现
4.1 结构化Chunk切分
import re
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.schema import Document
def split_markdown_doc(text: str, meta: dict, max_len: int = 384, overlap: int = 64):
"""按 Markdown 标题层级切分,再对超长块做递归切分"""
# 按 H1/H2/H3 切出 section
pattern = re.compile(r'(^#{1,3}\s+.+$)', re.MULTILINE)
parts, last_pos, last_title = [], 0, ""
for m in pattern.finditer(text):
if m.start() > last_pos:
parts.append((last_title, text[last_pos:m.start()]))
last_title = m.group(1).strip()
last_pos = m.start()
parts.append((last_title, text[last_pos:]))
splitter = RecursiveCharacterTextSplitter(
chunk_size=max_len,
chunk_overlap=overlap,
separators=["\n\n", "\n", "。", ";", " "],
length_function=len,
)
chunks = []
heading_stack = []
for title, body in parts:
if title:
level = len(title) - len(title.lstrip('#'))
heading_stack = heading_stack[:level - 1] + [title.lstrip('# ').strip()]
heading_path = " > ".join(heading_stack)
for sub in splitter.split_text(body):
if len(sub.strip()) < 30: # 丢弃过短碎片
continue
# 关键:把标题路径拼进正文,提升语义完整性
content = f"【{heading_path}】\n{sub}" if heading_path else sub
chunks.append(Document(
page_content=content,
metadata={**meta, "heading_path": heading_path}
))
return chunks
4.2 Embedding + Rerank 检索链路
from FlagEmbedding import FlagModel, FlagReranker
from pymilvus import Collection
import numpy as np
embedder = FlagModel("BAAI/bge-large-zh-v1.5",
query_instruction_for_retrieval="为这个句子生成表示以用于检索相关文章:",
use_fp16=True)
reranker = FlagReranker("BAAI/bge-reranker-base", use_fp16=True)
collection = Collection("tech_docs")
collection.load()
def retrieve(query: str, top_k: int = 5, recall_k: int = 20):
# 1) 向量召回
q_vec = embedder.encode_queries([query])[0]
q_vec = q_vec / np.linalg.norm(q_vec)
res = collection.search(
data=[q_vec.tolist()],
anns_field="embedding",
param={"metric_type": "IP", "params": {"nprobe": 32}},
limit=recall_k,
output_fields=["content", "source", "heading_path"],
)
cands = [{"content": h.entity.get("content"),
"source": h.entity.get("source"),
"score": h.score} for h in res[0]]
# 2) Rerank 精排
pairs = [[query, c["content"]] for c in cands]
scores = reranker.compute_score(pairs, normalize=True)
for c, s in zip(cands, scores):
c["rerank_score"] = float(s)
cands.sort(key=lambda x: x["rerank_score"], reverse=True)
return cands[:top_k]
几个参数值得说明:nprobe=32是压测后选的,再往上Recall增益<0.5%但延迟线性涨;recall_k=20是Rerank的候选池大小,我们试过10/20/30,20是性价比拐点。
五、踩坑与优化
坑1:Rerank分数阈值不能直接拿来卡。 一开始想用rerank_score < 0.3过滤无关片段,结果发现bge-reranker的分数分布随query类型漂移严重,短query分数普遍偏高,长query偏低,固定阈值误杀率很高。后来改成"始终取Top-5,但在生成prompt里按分数排序并标注置信度",让模型自己判断,反而更稳。
坑2:标题拼接带来的重复。 把heading_path拼进正文后,同一section下的多个chunk前缀高度相似,向量空间里挤在一起,导致Top-5里出现3条同章节的近似片段。解决办法是在入库后做了一次简单的MMR去重(lambda=0.7),召回多样性明显改善。
坑3:bge query指令前缀忘了加。 第一次切换模型后指标只涨了2个点,排查半天发现query编码时没加instruction前缀。补上之后Recall@5直接又涨了6个点。这个坑很隐蔽,因为不加前缀也不会报错,只是效果打折。
坑4:Milvus的IP度量与归一化。 bge输出默认未归一化,IP度量下长文本向量模长更大,会系统性偏向长chunk。我们在入库和查询两侧都做了L2归一化,才让IP等价于cosine。
坑5:Rerank的batch与延迟。 单条请求20个pair,compute_score默认batch_size=256会一次性吃满显存并拉高延迟。改成batch_size=8后,A10上单次Rerank耗时从约420ms降到180ms左右。
六、效果数据
评测集:200条真实提问,人工标注Ground Truth片段。指标为Recall@5、MRR、端到端人工准确率(双人标注,分歧仲裁),延迟为线上P95。
| 方案 | Recall@5 | MRR | 端到端准确率 | P95延迟 |
|---|---|---|---|---|
| Baseline(512固定切分 + ada-002 + 无rerank) | 0.61 | 0.48 | 54.2% | 2.1s |
| + 结构化切分(384/64) | 0.68 | 0.54 | 60.5% | 2.0s |
| + 切换 bge-large-zh-v1.5 | 0.79 | 0.66 | 72.3% | 2.2s |
| + 引入 bge-reranker-base(Top20→5) | 0.89 | 0.78 | 86.7% | 2.4s |
几点解读:
- 切分改造贡献了+7个点Recall,成本几乎为零,是性价比最高的一步。很多团队一上来就换模型,其实先把chunk切明白收益更大。
- Embedding切换贡献+11个点,中文技术语料上bge确实比ada-002强不少,而且本地部署后省了API费用和网络抖动。
- Rerank贡献+10个点Recall、+14个点端到端准确率,延迟只增加约180ms(batch=8优化后)。这是本轮优化里单步收益最大的环节,因为cross-encoder能捕捉query和chunk的细粒度交互,这是双塔向量做不到的。
- 端到端准确率涨幅(54.2%→86.7%)大于Recall涨幅,说明Rerank不仅提升了召回,还改善了送入生成模型的片段排序质量,减少了模型被无关上下文干扰的情况。
七、总结
这轮优化下来,最大的体会是:RAG的效果瓶颈绝大多数时候在检索侧,而不是生成侧。 把Ground Truth喂给GPT-3.5能到91%,说明模型能力够用,问题在于我们没把对的材料递到它手上。
三条可复用的经验:
- 先切分后换模型。结构化切分零成本、收益确定,应该作为第一优先级。chunk_size不要迷信512,中文技术文档384+64 overlap实测更好。
- Embedding选型要看语料语言和领域。中文场景bge-large-zh-v1.5是目前性价比很高的选择,记得query侧加instruction前缀。
- Rerank是两阶段检索的标配。召回宽(Top20)、精排窄(Top5),延迟代价可控,收益立竿见影。注意batch_size调小、别用固定分数阈值卡结果。
后续还打算试的方向:query改写(HyDE)、父子chunk(small-to-big)、以及把Rerank模型换成更大的bge-reranker-large看是否还有增益。有进展再写一篇。