对着摄像头比个手势,桌上凭空出现一只企鹅;拖拽屏幕上的小猫照片,它跟着你的手指跑动起来。这些不是预渲染特效,而是 AI 根据摄像头实时画面和用户操作即时生成的。Xmax AI 今日发布的 X2.0 模型,把视频从被动观看变成了可以「玩」的交互媒介,彻底打破了传统视频的单向输出模式。
X2.0 在画质和延迟上实现了关键突破。画质从 X1 的 480p 提升至 960p、24fps,足以覆盖直播、社交、电商等消费级场景。更核心的是,视频生成速度达到毫秒级响应,几乎零延迟。这意味着用户从等待 AI 渲染结果,转变为实时参与、操控画面,持续沉浸式交互成为可能。底层采用端到端流式重渲染架构,模型以帧为单位自回归生成,无需等待整段视频渲染完成。
X2.0 搭建了统一的多模态交互架构,同时理解触屏拖拽、手势控制、摄像头画面和文字指令,并可自由组合。它开放了五大能力:实时换人、实时换装、实时换风格、触控交互、次元互动,外加支持自定义 prompt 的自由模式。训练这类模型的最大难点在于数据——虚实融合交互需要真人与虚拟元素自然联动的实景素材,而这类高质量合成数据在公开互联网中极度稀缺。Xmax 团队自建半自动化数据合成管线,成为全球少数能突破这一瓶颈的团队。
在落地层面,X2.0 实现了两个关键进展。端侧推理方面,通过混合精度量化、结构化剪枝和移动芯片专属优化,在 iPhone 上实现了实时流式推理,尽管目前端侧分辨率仅 384p,但已是全球首个在移动设备上跑通实时交互视频生成的模型。同时,X2.0 开放商用 API,降低了企业接入门槛。随着端侧推理技术成熟,未来任何带摄像头的终端设备都可能成为交互视频的载体,为直播互动、虚拟试穿、社交娱乐等场景打开全新想象空间。