如果说大语言模型拉开了本轮人工智能革命的序幕，那么今天人机交互的瓶颈，早已不再是模型的智商，而是人类接收信息的生理带宽。
一个残酷的事实正在发生：人类的阅读极限大约是每秒 5 个 Token，而前沿模型的输出速度正迈向每秒上千 Token。当由数十个 Agent 组成的系统协同运转时，庞大的生成结果沦为“没人能读完的字符废墟”。
正如 Andrej Karpathy 所比喻的那样。今天我们盯着 ChatGPT 的对话框聊天，本质上就像在上世纪 80 年代敲击黑底绿字的终端命令行。属于 AI 时代的“图形用户界面（GUI）”，至今尚未真正诞生。
文字这根狭窄的「吸管」，正在倒逼人机界面发生一场彻底的范式跃迁。
创立于 2025 年末的 SigmaZ AI，正试图给 AI 补上关键的这一课。不同于目前主流的“数字人视频通话”或高成本、低可控的纯像素扩散路线（Pixel Diffusion），这家年轻的初创团队提出了一条极具反共识的技术路径：Coding as Backbone（以代码为骨架）。
他们利用扩散语言模型（Diffusion Language Models, DLM）极高的并发生成速度，让模型直接输出可执行的视觉代码，再交由浏览器完成免费的高效渲染。这种结构性的架构创新，不仅将视频生成的推理成本直接打到了传统像素视频模型的 1/100，更让视频从一次性的静态消费品，变成了“可点击、可提问、实时重塑每一帧”的原生交互界面。
在这期深度对话中，SigmaZ AI 的两位联合创始人——23 岁的连续创业者 William，与曾在亚马逊剑桥实验室及 AGI Lab 亲历语音智能、Generative UI 演进的 CTO Derek，完整拆解了他们从 Chatbot、无限画布一路试错到“实时交互视频”的思考闭环：
- 为什么说聊天框最终会退回 Terminal 的极客角落，而Interactive Video才是终局？
- 为什么在自回归模型上死抠微小延迟是条死胡同，而 DLM 才是打开实时交互大门的真正钥匙？
- 如何通过“代码高维抽象 + 浏览器免费渲染”，实现结构性、数量级维度的降本？
- 一支年轻且高度互补的技术团队，如何在巨头林立的生成式 AI 战场上，构筑起属于自己的审美偏好与 RSI 壁垒？
以下为本次对话实录：
从Chatbot到实时交互视频：一场人机交互界面的范式跃迁
ZF：欢迎来到这期的丫丫，这期节目我们邀请到了 Sigma 的两位联创。首先请两位分别简单介绍一下自己。
William：大家好，我是 William，是 SigmaZ AI 的 Founder and CEO。我们现在主要在做的工作，是用 Coding as Backbone 来做实时交互的视频生成模型。
我自己是连续创业者，今年 23 岁，已经做了三家 Startup，其中有一家公司股权已经卖掉了。现在我跟 Derek 一起做这家 AI Startup，希望重塑人与 AI 的交互形态。我们认为，未来再回头看今天把文字作为 AI 主要交付产物这件事，可能会觉得很奇怪，因为未来 AI 可能默认就是用实时视频的形式跟人类交流。
Derek：我是 Derek，是 SigmaZ AI的 CTO、Founder。接着 William 刚刚讲的，我们在做一种人和 AI 交互的新形态。到目前为止，我的职业生涯已经经历了三代不同的人机交互形态。差不多十年前，我刚毕业进入 Amazon Alexa，那时候是第一代语音智能。语音智能可以理解成文字之后的第二个人机界面，当时我在 Alexa 剑桥实验室做对话生成的头几行代码。
在 Amazon，我带队把 Generative UI做进 Nova 模型，让大模型可以直接输出可视化的 HTML。下一代就是我们现在要做的实时交互视频。
ZF：你们刚开始做这家公司的时候，就已经确定要做今天的实时视频交互了吗？
William：一开始我们很确定的是，AI 时代的整个交互体验一定会被重新做一次。但是具体是不是实时视频这个形态，我们其实经历了一个探索过程。
AI 本质上具备巨大的输出不确定性，很难被困在一个确定性的交互界面里，所以人机交互范式一定会产生很大的变化，这是我们的核心出发点。
最开始我们做了一个 Chatbot，但是用户觉得限制很大，因为全部是文本类的东西，没有那么新。后来我们尝试过无限画布。无限画布当时很火，我们也访谈了几十个用户，但它的问题是边界太宽，用户面对一张白板，很难知道应该怎么使用，所以更适合创意类场景。
当时中国比较火的一家画布公司 Kuse 也放弃了画布形态，转向列表和文件管理。内外部的信息都让我们看到，无限画布可能不是人机交互的最优解。
第三次尝试的时候，我们做了一个功能叫交互视频，可以把用户的课件变成交互式视频课堂。我们发现这个形态很好，用户留存也不错。这里有几个原因。第一，它的理解成本很低，用户天然知道视频是干什么的，对用户来说具备很强的确定性。第二，有了时间轴以后，用户对内容的掌控感更强。第三，它把一个生成式页面降维成了一种内容，用户虽然获得了更强的多模态体验，但理解成本和操作成本都很低。
当时我们还不确定这种做法是否具备泛化性，还是只局限于 AI 教育。我们最早做的是一款 AI 教育产品，上线几周，Alpha Launch 之后在海外获得了千万级别的曝光，用户平均停留时长差不多 11 分钟，是其他 AI 教育产品的三四倍。
但我们后来发现，超过 50% 的用户并不拿它做教学视频，而是在各种通用、高频的场景使用。比如把图书和小说变成交互式视频，把商品变成营销视频，甚至很多人会把 AI 输出的内容复制粘贴过来，再上传到我们这里。有用户直接反馈，他不会为一个 AI 教育产品付费，但觉得这个视频生成能力很好，因为生成速度快、准确性强、成本不高，图表和文本的渲染效果也很好，很适合把任务讲清楚。他们并不追求特别花哨的效果。
所以我们先确认了视频，再确认了交互视频。。再往下一步，我们跟用户交流时，他们希望生成速度能够更快，最好快到实时——资料上传之后马上变成视频，不理解的地方马上就能提问。最后才演变成今天的实时视频形态。
ZF：为什么 Chatbot 一定不是终极的 Interface？你们怎么思考这个问题？
Derek：我做 AI 的这十年里，经历了三代人机交互界面。最开始是语音智能，也就是我刚进 Amazon Alexa 时做的东西；第二代是今天的 Generative UI，让大模型直接输出可视化的 HTML Artifacts，但它本质上还只是一个漂亮一点的文字；我们要做的下一代，就是实时交互视频。
为什么要一代一代往前走？因为每一代界面最后都会成为人与 AI 之间的瓶颈。
今天这个瓶颈其实特别容易量化。一个成年人的阅读速度大概是每分钟 240 个词，拆成 Token 大概是每秒 5 个 Token 左右。但模型的输出速度已经可以达到每秒 80 到 240 个 Token，如果再加上即将出现的专用推理芯片，可能会达到每秒几千个 Token。
再想想，如果未来使用的是 Agent 团队，一个人有 10 个 Agent 同时工作，那么输入输出之间的差距就是几百倍甚至几千倍。所以今天 Agent 很大一部分输出，其实是在写没有人会读完的东西。
算力不再是天花板，人才是。Karpathy 在 2025 年 5 月的时候在 X 上说过，跟大语言模型聊天，感觉就像在使用上世纪 80 年代的 Terminal。聊天框就是一个 Terminal，而属于 AI 的图形界面还没有被发明出来。GUI 的出现并没有让电脑的处理器变得更聪明，它只是让电脑的智能变得看得见、摸得着、可以操控。有了 GUI，电脑才真正走向每个人的桌面。我们现在做的事情，就是给 AI 补上这一课。
Karpathy 发那条 Tweet 的时候，我们的 Generative UI 其实已经在 Amazon Nova 上进入生产环境。2026 年 5 月他又发了一条，说 HTML 是当下大模型最理想的模态，而终点是交互式视频，是 "neural video"。那个时候我们也已经做第一代视频生成几个月了，几个月以后，它逐渐变成行业共识。当你站在一个正确的方向上，会发现最聪明的人都在往同一个方向走。所以聊天框不会消失，但是它会变回今天 Terminal 所处的位置，留给一小部分极客。
ZF：你过去在 Amazon，包括过去十年的经历，给你对于真正的交互型或者入口型产品最直接的感知是什么？怎么判断一个 Interface 是 Work 的？
Derek：我觉得一个入口型产品，首先应该是人使用起来最不费劲的模态。Alexa 做的是用一种无处不在的方式，让交互尽可能不费劲。我们现在想做的是一种你随时可以问、随时可以看的交互视频，降低人和 AI 的沟通成本。
ZF：回头看每一代 Interface 的演进，你觉得其中有什么规律？
Derek：我从以前的经验里学到很重要的一课：并不是一种能力“能用”的那一天，就会真正解锁一个新的交互范式。比如语音助手，并不是语音识别能用的那一天开始赢，而是在延迟降低到能够自然对话的那一天开始赢。因为人对于对话和交互有生理上的预期，超过某一个延迟以后，模型再聪明，也没有人想跟它聊。
所以如果总结成一个框架，交互范式迁移的开关从来不是“能不能”，而是“快不快、贵不贵”。当现场生成一个界面，变得比预先做好的界面更快、更便宜的时候，范式就翻页了。GUI 等的是便宜的图形内存，语音等的是识别和合成跨过阈值，视觉交互等的就是实时生成。再往深一层看，每一次范式改变背后，都需要供需两端同时到位，缺一不可。需求端是算力和信息的过剩。模型每秒产生的信息量已经远远超过人能消化的量，这种过剩本身就在逼着界面升级带宽，因为文字这根“吸管”太细了。
供应端则是智能本身要提升。AI 终于有能力驾驭一个更高带宽的界面，也就是视觉界面。它需要有能力写出承载这些信息的视觉代码，撑起一个实时生成的视觉世界。需求在推，供应在拉，中间缺的那一层，就是我们今天想补的。
实时交互视频的定义：一个状态公式，而不是一次生成
ZF：现在实时交互视频确实很火，做这个方向的团队也很多。为什么你们选择这个时间点创业？
Derek：如果把最近三年摊开来看，我觉得每一年行业解决的主要问题都不一样。2024 年的时候，用户问的大部分都是简单问题。那个时候并不缺带宽，缺的是智能，行业的问题是怎么让 LM 变得有用。如果在那一年做高带宽界面，就像给一台不存在的发动机造跑车。
到 2025 年，是 Agent 的爆炸，Sub-agent、多 Agent 协作，到处都是 Agent。智能和信息一下子过剩了，问题从“怎么让 LM 有用”，变成怎么把它规模化到所有人、所有场景。
同一年还发生了两件关键的事。第一，功能性的编程基本已经成为一个相对解决的问题，所以包括我们在内的一批人开始做视觉编程，开始教 AI 使用视觉编程这种更高带宽的界面。第二，DLM，也就是扩散语言模型的研究开始起步，为实时交互寻找足够快的计算范式。
所以到 2026 年，这两条线同时开始成熟。DLM 的商用落地，包括 Google 的 Gemini Diffusion、Inception 的 Mercury 2、字节的 Seed Diffusion，代码生成已经可以跑到每秒一两千个 Token，比自回归 LM 快一个数量级。视觉 RSI 也 Ready 了。我的论文在 ICLR 2026 的 RSI Workshop 发表，是第一个在视觉代码领域的递归自迭代框架。
所以总结来说，2024 年的问题是怎么让 AI 有用，2025 年的问题是怎么让 AI 大规模落地，2026 年的问题变成了怎么让人类不要再成为 AI 发展的瓶颈。
为什么前两年不行？因为如果前两年做这件事情，钱会烧在一个注定被淘汰的解码范式上，也就是自回归 AR 大模型。我们当时的判断是，延迟问题不值得在自回归模型上面一点一点抠，它注定会被一次范式转移整个解决掉。所以我们把工程精力先放在无论换什么方式以后依然值钱的东西上，包括视觉质量、评测体系、自我改进迭代的基础设施。
我们把延迟问题留给了一个我们判断一定会来的模型，像 DLM 这样的模型架构。这属于大厂 Researcher 有非常充足的算力去做的研究。我们的思路是，DLM 一旦落地，我们不是从头开始，而只是把最后一块拼图放进一张已经拼好的版图。
ZF：你们怎么定义“实时视频交互”？它和过去的视频生成，本质区别是什么？
Derek：我们内部对实时视频交互有一个非常具体的定义。把它写成一个状态公式：下一个画面，等于当前画面，加上你的动作，再加上上下文，一起进入模型以后算出来的结果。
直白一点，你点击了屏幕上的一个东西，这个动作会重新进入模型。模型会根据你点的是什么、你之前看了什么、你在关心什么，重新生成这个世界里的下一帧。每一次交互，都在重塑媒介本身。这和其他视频生成最大的区别在于，传统视频生成是一次性的。视频生成出来以后，本身就不具备继续交互的能力。
我们的不同不只是在交互上，因为我们是通过视觉代码生成，再把它渲染成视频，所以在视频生成方式上也不一样。
ZF：怎么理解视觉代码渲染？
William：A16Z 前两天发过一篇文章，现在的 Visual AI 生成主要可以分成两个主流路线。一种是 Pixel Diffusion，也就是像素扩散渲染，在连续的像素空间里进行计算和渲染。这种路线的好处，是可以得到非常真实、电影级的视觉体验。但问题是可控性比较低、成本很高，而且整体能够传递的信息量不高。比如你看一分钟短剧和看 30 秒新闻，它们的信息量完全不是一个维度。
我们的做法是第二种，通过 Visual Code，以代码为核心来进行视频或者视觉生成。好处是成本低、高可控、准确性更强。过去这种方式没有办法拿来做实时交互视频模型。它能够生成视频，但由于自回归大模型生成速度比较慢，没有办法形成一种 Prompt 一输入，视觉多模态内容马上回来的体感。
到了今年，基于 Diffusion 扩散语言模型的技术路线，无论工程架构还是训练范式都获得了很大进步，才使得我们能够用代码作为实时交互视频的 Substrate。所以我们和其他产品的共性是都支持实时交互，区别是我们的结果更加可控，能够承载更多信息量，同时成本更低。比如新闻场景，我们可以用一个明确的 3D 内容告诉你，地球上的某一个地方发生了什么事情，也可以用图表告诉你过去一天的天气走势。这些是过去扩散模型很难精准做到的。
ZF：对于普通用户来说，你们和其他实时视频交互产品会有明显的体感区别吗？
William：输入方式上，我们同样支持全模态输入，可以用语音、视频、图像实时交流。但输出端消费者会感受到很大的区别。
至少早期，我们不会有一个数字人，所以它不是一个纯娱乐场景。其他一些实时交互视频产品，更像是跟 AI 打一个视频电话：你可以看到 AI 的脸，跟 AI 交流，给它换装、换人，以类似直播的方式聊天。我们的实时交互视频模型虽然同样是全模态输入，但输出结果更像是 AI 开了一个共享屏幕。你可以看到 AI 正在做什么，把 AI 干活的过程呈现在你面前，实时生成具有一定信息量的内容。比如你在健身的时候，它会告诉你这个动作做得不太好，下一个动作应该怎么做，并且直接把正确动作实时生成在画面里。或者你在解一道数学题，它先告诉你一个公式，你可以马上问它：“这个公式我没听懂，在现实生活里有什么作用？”它就会实时生成一个更深入的讲解，把这个问题讲清楚。
我们把它叫做“好用又好玩的实时交互视频”。
ZF：如果做一个类比，它更像什么样的产品？
William：有点像一个 AI 原生、实时交互版本的 YouTube。过去的 YouTube 是某一个博主把自己的经验制作成视频，视频本身是死的。你有什么问题，只能去评论区问，然后等别人或者博主回复。
实时交互版的 YouTube，是别人发布了一个视频以后，你可以实时对这个视频本身提问。比如一个做饭博主发了一条菜谱视频，你可以问：“我没有白胡椒粉，只有黑胡椒粉，可不可以？”它会直接用视频的方式回复你。
ZF：现在我也理解为什么你们最早是从教育产品延伸出来的，这种形态确实很适合自适应教育。
William：最早的时候，我们的界面左边是视频，右边有一个 Chatbot，用户可以一边看视频一边提问。当时我们并不支持通过这个 Chatbot 直接操纵视频，因为还没有找到一条技术路线，可以让视频根据用户的问题实时生成新的回复。但我们发现很多用户会自发地默认这个 Chatbot 就应该可以控制、调整视频，而且应该跟视频本身产生关系。这是一个很大的 Aha Moment。用户面对 AI 生成的结果时，默认觉得这个东西应该支持实时交互。因为他已经习惯 ChatGPT 是文字进去、文字马上出来。很多用户会反复问：“为什么我问了一个问题，这个视频没有发生改变？”
所以我们最早意识到，交互视频是一个真实需求。随后又发现它具备很强的泛化性。用户不只是拿我们做学习，个性化教育当然是其中一个场景，但很多用户真正追求的是怎样更好地理解 AI 的输出。有人会把 ChatGPT 输出的内容复制粘贴到我们平台，让我们再通过视频给他讲一遍；有人把小说、图书拍照上传，然后变成视频去看；也有人把产品照片上传，生成商品介绍视频。
Code负责真实，Diffusion负责“好看”，双轨技术架构
ZF：从用户输入指令开始，你们完整的技术链路是什么？
Derek：假设你正在看一个讲降噪耳机原理的视频，你点了一下画面里正在震动发声的耳机。第一步，我们会做一个“意图反演”。系统会结合你点击的元素、当前看到的画面、之前问过什么，判断这个手势到底是什么意思：你是想放大，还是没有听懂，或者想岔开去问一个新问题。真正需要新事实的问题，比如“这个技术是谁发明的”“跟别家的技术相比怎么样”，交互层会派出一个子查询，交给后面的推理层，异步进行检索和工具调用。
这时前面的画面不会被冻结。推理层在后面工作的时候，前面的交互层会继续进行视觉演化，接收你