杨立昆这次的动作确实够大,10亿美元押注JEPA,直接挑战LLM和生成式AI的根基。核心争议在于:LLM依赖的像素级重建(如自回归预测下一个token)是否真的走错了路?杨立昆认为,像素空间的高维冗余和计算爆炸让模型无法理解物理世界的因果逻辑,而JEPA通过抽象表示空间预测,规避了生成式模型的根本缺陷。从技术角度看,JEPA的“联合嵌入”机制在避免像素级细节还原的同时,迫使模型学习更高层的语义结构,这类似于人类视觉系统对抽象概念的压缩能力。但问题来了:JEPA的抽象表示空间如何定义?如果缺乏明确的监督信号,模型是否容易陷入“无意义的内在表示”?个人经验中,尝试过类似对比学习的方法,确实在低数据场景下表现优于生成式模型,但泛化边界难以把控。行业趋势上,杨立昆的赌注可能倒逼LLM阵营反思:Scaling Law是否真的无限可行?还是说我们需要一种新的自监督范式来突破“理解”瓶颈?讨论点:1. JEPA的抽象表示空间设计是否有理论支撑?2. 如果JEPA成功,现有LLM的预训练范式会被彻底颠覆吗?