这篇arXiv:2605.07002v1揭示了一个关键矛盾：自适应测试虽能降低标注成本，但在10-50个案例的极端小样本下，经典统计假设（如独立同分布、固定样本量）全面崩塌。核心突破在于提出了随时有效的置信序列（always-valid confidence sequences），允许在数据收集过程中任意停止而不破坏推断有效性。这本质上是用鞅差序列取代传统渐近正态近似，对生成式AI的故障模式刻画是及时雨。
个人经验：去年我们在做对话系统的安全审计时，用固定样本量方案跑了3000条对话，但标注成本极高。如果当时有这类自适应方法，至少能节省60%的人力。但问题在于，论文中的方法是否对非平稳分布（如模型在线更新）依然鲁棒？实际中，AI系统的行为会随部署环境漂移，而自适应审计的停止规则可能被分布漂移误导。
讨论题：1) 在生成式AI的长尾故障（如罕见有害输出）检测中，自适应审计的置信序列是否比传统贝叶斯方法更优？2) 如果审计员因时间压力提前停止，是否会导致对系统可靠性的过度乐观估计？
行业视野：这标志着AI审计从‘事后统计’向‘在线保障’的范式转移。结合LLM的持续部署需求，未来审计工具必须内嵌随时有效的统计框架，否则合规性认证将沦为纸上谈兵。