Demo演示惊艳，上线后却回答漂移、工具死循环、TTFT飙升——这是许多业务Agent团队的真实写照。货拉拉在其技术博客中系统披露了业务Agent评测平台的工程实践，核心结论很直接：Agent能跑不代表能用，单次回答惊艳不代表生产稳定可靠。
为什么传统测试在Agent面前失效
传统测试依赖确定性断言，equals或正则无法判断一段语义表述是否准确、是否有幻觉、是否遵守业务红线。更麻烦的是，业务Agent的执行不是一问一答，而是多轮迭代的动态决策链路：意图理解、计划生成、步骤选择、工具调用、结果处理，再根据中间结果修正规划或重试。错误可能发生在任意节点，且具有传导性——上游的理解偏差会被下游工具调用逐级放大。
性能度量维度也发生了跃迁。Agent场景下不再只看QPS，首字生成时间（TTFT）、总生成时间（TTLT）、Token吞吐速率（TPS）直接决定真实用户的交互体验。
评测范式的三个阶段
货拉拉将评测体系演进划分为三代：第一代是人工盲测与单点Prompt打分，覆盖度极低、主观性强；第二代引入离线数据集与单一LLM-as-a-Judge，但裁判模型存在幻觉与自评偏见，且脱离发布流水线；第三代是全生命周期自动化评测平台，把业务规则、智能裁判、拦截隔离、CI/CD门禁、性能压测、线上巡检整合为闭环。
六大工程支柱拆解
平台整体架构分为五大核心分层与六大工程支柱，其中几个机制值得重点参考。
资产治理与链路拓扑。平台通过评测实验室实现多租户隔离，统一纳管自研工作流/模型平台及自定义HTTP服务，并关联Agent代码版本、Prompt版本、知识库切片与运行环境，保证评测结果可复现。参数映射上设计了三级切点拦截器：TASK_BEFORE、SESSION_BEFORE、REQUEST_BEFORE，支持用例数据集动态注入与脚本动态引用，将计算产物强类型映射后注入请求报文。
测试数据合规校验。平台推行“非合规测试数据一票否决”。在发起评测的第0毫秒，系统对所选数据集执行全量扫描，校验测试环境标识、Headers/Params/Body是否符合入参Schema、必填字段完整性、字段类型与JSON格式合法性。一旦发现哪怕1条用例不合规，直接阻断评测调度，禁止生成评测Job。
多模复合智能裁判。这是评测准确性的核心。平台内置五类确定性规则：结构化校验、正则匹配、硬匹配、关键词匹配、语义相似度。对于订单号、金额、JSON结构等强确定性事实，由计算型引擎执行，提供毫秒级、零幻觉的客观评分。
裁判Prompt采用三维动态组合：平台级模板沉淀全局打分尺度与幻觉判定准则；Agent维度模板注入业务角色定位与专业规范；用例维度模板绑定单条用例的意图判定要点与期望参数。三层解耦维护，避免每个用例重复编写冗长背景。
针对LLM裁判自身的打分漂移，平台实现抗波动评判引擎：并发多次采样、离群过滤与均值聚合，若多次采样方差超过阈值，自动推入人工复核池。
Session级综合评分。孤立地对每一轮打分再算术平均，会掩盖关键阶段的业务崩溃。平台引入红线与短板穿透原则：任意一轮触发超级红线违规或核心步骤严重错误，扣分直接穿透至整个Session最终总分。同时采用前轻后重的渐进权重曲线，对话越靠后权重越高，考验长程交互中的记忆与逻辑韧性。
人工校准闭环。客观评测守底线，主观评测拉上限，人工复核做放大。业务专家对争议用例、红线样本进行人工打分，修正样本自动沉淀为黄金对齐数据集，反哺裁判Prompt与评分规则。
CI/CD门禁与性能压测。准入评测在合并代码或变更Prompt时触发核心冒烟用例集；准出评测在发布前执行全量基准测试，分数不达标流水线直接返回FAIL并阻断发布。性能侧自研LLM压测引擎，支持固定并发、线性爬坡，精确捕捉SSE流式响应的TTFT与TTLT。
可复用的架构参考
从工程视角看，这套平台有几个可迁移的设计取舍：一是把确定性规则与LLM裁判分层，硬事实走规则引擎，开放语义走裁判模型；二是裁判本身也要做抗波动，多次采样加方差熔断；三是Session级评分必须支持红线穿透，否则多轮对话的平均分会掩盖致命错误；四是评测必须嵌入CI/CD，否则再好的基准集也会被绕过。
官方披露的规模化数据也印证了闭环价值：平台接入智能体114个，沉淀黄金评测集16337个，功能评测执行11063次，前置拦截缺陷669个。版本回归评测从人工天级缩短到小时级全自动回归，上线质量合格率从约78%提升至98.5%。缺陷分布上，意图与指令理解占33.84%，智能体与工具执行占31.12%，回答准确性占25.38%——这三类正是传统测试最难覆盖的区域。
业务Agent评测的难点，本质在于非确定性输出、复杂工具链路与性能体验三者叠加。货拉拉的实践给出了一条路径：用规则守住硬底线，用抗波动裁判覆盖语义，用Session级穿透防止长对话崩溃，最后用CI/CD门禁把评测变成发布流程的强制环节。