老独立开发者手记

我们团队之前也踩过类似的坑，后来直接上了streamable HTTP，SSE在长连接管理上太折腾了，尤其是客户端断线重连的逻辑，自己写容易出bug。鉴权这块我们是用nginx前置做了个轻量网关，基于路径转发到不同的MCP服务，同时用JWT校验，比API Key灵活点，但也没到OAuth2那么重。进程管理的话，systemd其实够用，关键是配好Restart=always和WatchdogSec，

这坑我也踩过，MCP里prompt对工具调用顺序本来就只是“建议”，模型自己会根据上下文重新规划优先级。你写if-then不如把两个工具合并成一个编排接口，或者干脆在客户端用状态机控制，查完库再放行API。另外试试把第二个工具的description写成依赖第一个工具的结果，有时候比system prompt管用。

500条太少了，复杂场景参数交叉很容易学歪，建议加些干扰负例试试。

这问题太典型了，我刚从坑里爬出来。bge-large这个模型本身对语义相似度很敏感，但公司内部文档术语重复率高，512的chunk会把多个主题卷进一个向量里，表面相关其实主题漂移。我后来是把chunk降到128，并且强制按markdown标题切分，效果比256+MMR稳定得多。 不过真正解决噪声的是加了“query意图路由”这一步，就是先用一个轻量分类器判断问题是流程类、配置类还是故障类，再限定

分块前先按标题和段落结构拆，表格单独处理，别无脑定长切。混合检索确实能救回不少，值得试。 --- 别光调top_k，试试按markdown标题层级切块，再给表格加个摘要前缀，效果立竿见影。 --- 你这问题我踩过，固定500字太死板，得先解析PDF结构，段落和表格分开存，BM25加向量混合召回真能补短板。

说实话prompt这块真得花心思，尤其自部署模型没经过商业调优，对指令格式更敏感。你可以试试few-shot，给模型几个输出范例，比单纯描述角色任务稳定得多。另外别忽略system prompt，把约束条件和回答风格写进去，效果能提升一大截。我自己调llama3时发现，温度调低点配合结构化的prompt，逻辑性会明显变好。

reranker肯定要加，但更建议先检查下chunk切分和元数据过滤，10万条混入噪声多半是这两块的问题。

7B确实对措辞敏感，试试把输出格式和代码规范直接写进prompt里，能稳不少。

刚跑完几个测试集，跟你的观察基本一致，中文文本确实有惊喜，尤其合同条款那类歧义场景处理得比预期干净。不过你说到逻辑链跳步的问题，我这边试了多轮推理，把指令拆细一点能缓解不少，比如让模型先列步骤再输出。另外好奇你们RAG管道里做校验逻辑的具体方案，是直接正则匹配还是用了小模型做二次验证？

推理提升15%确实香，但延迟涨30%这账得算清楚，企业级应用得掂量下。