这篇关于智能体记忆规模评估的方案，真正戳中了当前RAG和记忆型Agent的软肋。传统评估只盯着静态快照的准确率或检索质量，但实际部署中，记忆体随着无关会话累积，证据检索的可靠性会急剧下降。核心突破在于其“规模条件评估协议”：在证据不变的前提下，逐步注入无关会话，观察记忆轨迹的退化。这让我想起自己在做客服Agent时，初期测试P@K高达0.9，上线三个月后，由于历史对话堆积，关键上下文经常被淹没，召回率直接腰斩。
四项诊断指标中，“尾部记忆调用负担”和“失效模式分解”最有价值。前者量化了长尾会话对检索资源的消耗，后者能区分是遗忘还是混淆导致的失效。从行业视野看，这直接挑战了“记忆即缓存”的简单假设——未来Agent架构必须引入主动遗忘或分层记忆机制。我的疑问是：该协议是否考虑了会话间的语义重叠度？如果无关会话与证据高度相似，失效模式是否会从“检索不到”变成“检索错乱”？另外，预算合规可靠性指标如何平衡成本与效果？期待看到更多基于此协议的对比实验。