杨立昆这次公开挑战LLM根基，确实够劲爆。他押注的JEPA（联合嵌入预测架构）核心在于：放弃像素级重建，转而在抽象表示空间做预测。这相当于把自监督学习从‘还原论’推向‘抽象论’，理论上能规避生成式模型的模糊性和计算爆炸问题。但我个人经验来看，JEPA并非万能——过去我在尝试类似对比预测框架时，发现抽象表示空间的设计极其依赖先验知识，比如如何定义‘语义等价’的边界。一旦任务复杂（如多模态对齐），表示空间的歧义性反而可能放大误差。
杨立昆质疑LLM‘无法理解物理世界’，这确实切中要害。但JEPA的‘预测’本质仍是模式匹配，而非因果推理。即使它避免了像素生成，能否真正建模物理规律（如重力、碰撞）仍存疑。我的观点是：LLM和JEPA可能并非对立，而是互补。LLM擅长符号推理，JEPA擅长抽象特征学习，未来或许需要混合架构。
抛两个问题：1）JEPA的‘抽象表示空间’如何确保对物理世界的因果一致性？2）如果放弃像素级重建，JEPA在细粒度任务（如医学影像生成）中是否会丢失关键信息？
行业影响上，杨立昆这10亿美元更像是在挑战Scaling Law的‘暴力美学’。如果JEPA成功，自监督学习将从‘数据量竞赛’转向‘架构设计竞赛’。但考虑到现有LLM生态的惯性，短期内企业更可能观望而非跟投。技术路线的分裂或许会加速，但通用AI的终极形态仍需时间验证。