推荐语
一次错误回答，可能只会让用户关掉页面；一次错误执行，却可能改写企业数据库、触发一笔交易，甚至让整条业务流程偏离轨道。
AI 的能力边界不断扩张，错误的代价也随之上升。过去只出现在实验室报告中的 reward hacking、alignment faking，正在进入开发者和普通用户的真实体验。而这只是开始：当成千上万个自主 AI 系统彼此调用、持续运行，甚至成为公共基础设施的一部分，如何保证它们安全地运行，今天还没有人给出答案。
方寸跃迁想做这道题的答卷人。首席科学家董胤蓬自 2016 年起研究对抗样本与深度学习鲁棒性，早在行业为 AlphaGo 和人脸识别的精度欢呼时，他就在追问相反的问题：模型为何失败，又会在什么条件下失控。CEO 李筱健则从数学出发走向 AI 安全研究与国际治理。两条轨迹最终汇成一个共同判断：AI 安全既有足够深的科学问题，也有把研究变成真实价值的产业空间。
传统安全依赖明确边界、固定规则和已知漏洞，Agent 的行为安全却横跨模型、工具、权限、上下文、系统调用和业务流程。模型越自主，行动路径越难穷举；任务越复杂，人类越难逐步判断每一次决策是否合理。安全由此从一道部署前的检查题，转变为贯穿运行全过程的持续能力。
这期内容，Z Potentials 专访了方寸跃迁创始人和首席科学家，从个人经历、Agent 行为监测、安全评测的可信性，聊到数据飞轮、企业镜像环境与具身安全，最终触及一个越来越无法回避的问题：当 AI 获得更强的行动能力，我们凭什么放心地把权限交给它？在他们看来，安全做到七八十分等于没做，必须做到九十九分：性能、时延、成本都要追求极致。而模型、攻击方式和应用形态仍在持续变化。每完成一次九十九分的答卷，下一轮新的风险已经出现，所有人也随之重新站上起跑线。
以下是我们的对话实录，经编辑修改，enjoy～
Z Highlights
- 产业问题很难像论文中解决的科研问题一样写成一个公式，告诉你只需要优化某个 Loss。它是非常综合的，也不一定是最新或者最漂亮的方法就最好，很多时候需要把技术、产品、工程、交付和客户需求汇聚起来，用最快、最可靠的方式解决问题。
- AI 技术进化速度非常快，无论是模型能力还是应用形态，都要求 AI 安全技术保持快速迭代。AI 服务提供商既做服务又做安全当然可以，但由于服务和安全存在天然的目标冲突，很多时候需要第三方提供客观性和公平性保障，赢得用户的信任，也避免服务的提供者陷入“自证清白”的困境。安全需要不停的追求极致或者“九十九分”，只有独立的 AI 安全组织或公司，才能把安全当成第一主业来做。
- 评测本身的可信性是一个很大的问题，因为模型能力提升得很快，传统评测的构建又非常耗时。因此，面向安全需要构建动态 Red Teaming 不断测试，而不是反复刷同一个静态数据集。
- 安全更追求单纯的量化结果，比如能不能让 Agent 更安全、实现更强的鲁棒性或风险识别能力。可信比安全更进一步，也更加 Human-centered，它讨论的是什么样的 AI 服务是人可以信赖的。它不仅需要安全，也需要透明，以及 Agent 行为的可观测、可审计和可溯源。
- 同样的动作可能通过不同路径实现，仅观察最终动作，往往难以判断其是否合法。尤其是当 Agent 的行为轨迹较长时，中间每一步的意图、权限和操控主体都可能发生变化。我们在探索一种新型结构表示：把 Agent 的长程轨迹进行建模，标注每个动作的主体、权限、上下文和风险属性，再分析这些动作之间的因果和调用关系。
- 具身安全是现在行业最被低估的问题之一，因为具身造成的安全风险不仅仅是语言模型说错一句话带来的风险这么简单，它在物理世界里做错一个动作，造成的风险可能非常大。
- 未来各个企业和用户内部都需要一套自己真实业务流程的镜像环境。这样的话环境有利于安全和非安全服务更好地在本地做自动化适应或者自进化。同时，这套镜像环境本身也是企业资产，企业可以基于它构建自己的 Benchmark，验证不同供应商的产品谁在真实环境下表现得更好。
01 AI 越自主，传统安全越失效
ZP：请两位先分别介绍一下自己的研究和职业经历，以及方寸跃迁之前最重要的几段经历。
董胤蓬：我本科和博士都在清华大学计算机系。博士期间主要做深度学习模型的鲁棒性和对抗样本方面研究，这是人工智能安全里一个比较重要的方向。我们算是国内、甚至国际上比较早关注这个问题的一批团队。博士毕业以后，我继续在清华计算机系做博士后，也是在那段时间，研究逐渐从传统深度学习模型的安全转向大模型安全。2025 年年初，我来到清华大学人工智能学院做助理教授，继续沿着这个方向做研究。现在在方寸跃迁担任首席科学家，其实也是把过去一直在做的事情延续下来。
李筱健：我以前是做数学的，本科阶段在美国发表了一些研究，硕士在 UC Berkeley。在做数学的过程中感觉比较孤独，一方面即使是相同领域的研究者，由于彼此研究的问题不同，很多时候很难和同行深入交流；另外一方面，我比较看重自身工作的社会意义和落地性，因此选择回国和学术界、产业界的人交流，接触新的可能。回国以后，我先在清华大学交叉信息研究院徐葳老师的团队做了一年 Research Assistant，之后进入清华大学人工智能学院读博士，一直做 AI 安全相关研究。除了科研以外，我也长期参与国际 AI 安全前沿治理和交流。AI 安全正好同时需要理论、算法、政策治理和产业应用的视角，这种交叉性对我很有吸引力。
ZP：两位最初是怎么认识的？为什么都选择了 AI 安全这个方向？
董胤蓬：我开始做这个方向比较早，大概 2016、2017 年就在关注对抗样本。当时正处在一轮 AI 浪潮里，AlphaGo、图像分类、人脸识别都非常受关注，很多深度学习算法的识别精度开始超过人类，于是大家会问：这种模型是不是已经获得了类似人的智能？
对抗样本恰恰从根本上挑战了这个假设。比如在图片里加入人眼几乎看不出来的微小噪声，模型就可能完全识别错误。人的判断和模型的判断为什么会如此不一致？人工智能和人类智能的机理到底有什么不同？我一开始更多是被这些基础问题吸引。后来我们发现，对抗样本不仅能帮助理解深度学习的机理，也会对真实世界里的 AI 应用造成安全风险，研究就逐渐扩展到了更广泛的人工智能安全问题。
我之所以一直坚持这个方向，有三个原因。第一，AI 安全本身具备很重要的意义。很多人都在提升模型能力，但安全问题并不会因为能力提高而自动消失。我们读博时的研究环境就比较强调，不要只在所有人都在做的图像分类、人脸识别任务上卷性能，而要关注模型底层的机理和脆弱性。现在大模型时代也是一样。大家当然需要继续把模型做强，但如果没有人专门研究它为什么会失败、在什么条件下会失控，能力越强，风险也可能越难被发现。
第二，这个方向还有大量没有被充分挖掘的科学问题。OpenAI、Anthropic 等头部实验室都在持续投入安全研究，学术界也不断发现新的前沿风险，但很多问题还没有成熟答案。对科学探索来说，AI 安全本身就是一个非常好的切入口。
第三，我们过去在实验室里做了很多从 0 到 1 的技术，但要把技术真正推广、落地并形成长期能力，还有大量工作要做。学术成果证明一个方法可能有效，产业化还要解决性能、成本、时延、稳定性、接入方式和客户信任等问题，这里存在很大的机会。对我们而言，长期坚持一个方向也很重要：既要有足够深的研究问题，也要有把研究做成真实价值的空间，AI 安全同时满足这两个条件。
李筱健：我和董老师本来就在比较接近的学术体系里，我所在的课题组和董老师的团队主要研究方向都是人工智能安全，过去在科研交流和国际 AI 治理活动中接触很多，所以后来比较自然的决定在这个方向创业。
我自己从读博开始就一直做 AI 安全，也参与国际治理。对我来说，在这个方向创业，是把过去的研究和认知进一步往产业里推进，因此整个创始团队对方向、价值判断和长期目标有足够一致的认识，这一点尤为重要。
ZP：决定创立方寸跃迁的直接契机是什么？
李筱健：有几个标志性的信号：首先，过去参加国际 AI 安全治理活动时，看到海外已经出现了一批 AI 安全创业公司和第三方研究机构，包括 Virtue AI、Apollo Research等等。近期 Virtue AI 的部分核心成员加入 Meta，也能看出头部公司对 AI 安全能力的重视。与此同时，国外大模型公司的安全团队规模也很大。在国际交流里，不只是我们自己会问，海外的研究者、从业者和第三方机构也经常问：中国的 AI 安全准备怎么走？中国 AI 安全的产业化由谁来做？
另一方面，我们持续看到 AI 的风险暴露面在扩大。过去几年，AI 安全还常常被视为比较模糊、长期的担忧；到了 2025、2026 年，随着 Agent 快速发展，基座模型的智能程度、行为复杂度和思考链条都在提升，reward hacking、alignment faking、欺骗性行为等现象，已经从少数前沿实验室里的案例，变成很多研究者和用户在日常实验中也可能遇到的问题。这些信号让我们觉得，产业化这一步必须尽快有人来做。
还有一个很现实的判断是，海外已经形成了模型公司内部安全团队、第三方商业公司和非营利研究机构共同参与的生态，而国内的安全工作仍然更集中在模型公司或传统云安全体系内部。模型公司当然会做内部安全，但第三方机构能够从不同立场测试同一个系统，这种外部压力和独立验证本身就是安全生态的一部分。随着 AI 逐渐成为基础设施，中国也需要建立自己的独立安全能力和第三方评测体系。
ZP：长期参与国际 AI 安全治理，给你们带来了哪些独特经验？
李筱健：第一，它让我们真正理解不同角色的视角。研究者、政策制定者、用户、企业和政府关心的问题不一样。AI 安全长期来看既要靠技术，也需要治理规则在技术覆盖不到的地方形成补充。
第二，不同地区关注的问题不同。中国和美国因为都有领先的模型和应用团队，研究重点有很多相似之处；欧洲缺少同等规模的基础模型厂商，往往更关注应用与安全，对模型训练侧的权衡考虑相对少，因此一些安全主张会更激进。这种差异让我们意识到，AI 安全具有地域性，必须保持国际交流。
AI 本身是全球性的，中国模型和应用走向海外，就需要理解当地法规和治理方向；海外模型进入中国也一样。欧盟、中国以及其他国家和地区都会形成自己的法规和行业要求，企业要真正 Go Global，就必须理解这些差异。
另一方面，前沿 AI 评估正在走向多中心化：模型厂商的第一方评测、第三方评测、专业机构评测以及不同国家和地区机构的评测，需要通过交叉验证共同建立可信度，而不是只依赖一家公司的内部结果。国际合作不意味着所有地区必须使用同一套判断，而是要形成可比较、可交流、能够互相验证的安全证据。对企业来说，这不仅是治理议题，也直接关系到产品出海、合规和市场准入。
ZP：从学术研究转向产业应用，最大的认知变化是什么？
李筱健：做学术相对更纯粹。你会聚焦一个前沿问题，目标是做出有意义、别人短期内未必会做，但又确实重要的成果。创业需要处理的信号多得多：客户、投资人、产品、招聘、组织管理，每个人负责的事情和工作方式也很不一样。怎么把不同背景的人组织在一起，让团队在规模化过程中仍然高效，并且凝聚力越来越强，这是很大的挑战。
不过，创业和研究在高层逻辑上也有相似之处。做研究时要判断一个 topic 为什么值得做、是不是适合你做、你的能力和资源能不能支撑，以及做出来以后会产生多大的价值。创业也是一样：要找到适合团队背景、能力结构和资源条件的问题，并想清楚它对行业到底有多大的价值。
最大的不同在于，研究者很多时候可以像一个独立的“单兵”工作，而创业需要把产品、工程、研究、销售、市场和组织能力放在同一套系统里。团队扩张时，不能只是人数增加，还要让信息流、决策效率和共同目标保持一致。做研究时，合作伙伴大多围绕同一个技术问题工作；公司里不同岗位的目标、语言和节奏都不一样，创始人需要把这些差异组织起来。
董胤蓬：我补充一点。研究通常能把问题 formulate 得比较清楚，在一个 well-defined 的问题下提出新方法、优化某个目标；但产业问题很难像论文一样写成一个公式，告诉你只需要优化某个 loss，它是非常综合的，也不一定是最新或者最漂亮的方法就最好。很多时候，需要把技术、产品、工程、交付和客户需求汇聚起来，用最快、最可靠的方式解决问题。这是我们从长期做研究转向产业化以后，感受到的一个很大变化。
ZP：方寸跃迁最初真正想解决的是什么问题？为什么必须由独立的第三方公司来做？
李筱健：我们的判断是，AI 安全最终还是需要一家独立的第三方公司长期、专业地来做。AI 安全和传统的网络安全、系统安全，在市场形态上有两个比较大的区别。
第一，过去网络和系统底层技术的变化相对慢，因为上面运行着大量服务，不可能频繁做颠覆式改动。因此，它的风险暴露面可以在一定程度上逐渐收敛，后续更多是维护漏洞库、持续修补。但 AI 的技术进化速度非常快，无论是模型能力还是应用形态都在不断变化，这就要求 AI 安全技术本身也保持很快的迭代速度。
第二，过去云服务的效果和云安全基本是相对解耦的，但 AI 服务和 AI 安全背后面对的是同一个模型，二者变得高度相关。AI 服务提供商当然可以同时做服务和安全，但由于服务和安全之间天然存在一定的利益冲突，还是需要第三方提供客观性和公平性的保障。
只有独立的 AI 安全组织或公司，才能适应 AI 安全技术快速迭代的需求，因为你必须把安全当成第一主业来做，才有动力追求极致。
ZP：Agent 会不会只是一个阶段性的应用形态？Agent 安全在你们看来会成为天花板足够高的市场吗？
李筱健：Agent 这个词是否长期存在，其实没有那么重要。更本质的问题是 AI 的使用安全和运行安全。无论未来是单个模型、单 Agent、Multi-Agent，还是新的应用形态，只要 AI 越来越自主、越来越泛化，需要调用更多工具、数据和权限，安全挑战就会持续提升。所以这个市场不会因为某个具体架构变化而消失，恰恰相反，随着应用形态变丰富、任