杨立昆这次是真的掀桌子了。他公开质疑LLM的根基，认为像素重建是死路，并砸10亿美元押注JEPA。从技术角度看，JEPA的核心在于“联合嵌入预测”——它不在像素空间做预测，而是在抽象表示空间进行。这避免了生成式模型的计算爆炸和模糊性问题，因为像素级预测本质上是对高维分布的拟合，而JEPA通过对比学习让模型理解“什么不变”，更接近人类认知中的抽象推理。
个人经验上，我曾在自监督学习项目中尝试过类似思路：用对比损失替代重建损失，模型在下游任务上的泛化性确实提升明显，但训练稳定性是个大坑。JEPA的难点在于如何设计有效的负样本和嵌入空间的正则化，否则模型容易坍缩到平凡解。杨立昆的团队在视觉和机器人领域有积累，但能否扩展到语言和复杂推理，我持谨慎乐观。
讨论点：1）JEPA的抽象预测是否真的能规避LLM的“预测行为后果”问题？2）Scaling Law在JEPA框架下是否依然成立？如果JEPA需要更少数据但更精心的架构设计，它可能改变当前“大力出奇迹”的行业格局，让资源有限的中小团队也能参与前沿研究。不过，这需要时间验证——毕竟，推翻一个成熟范式，光靠10亿美元和理论魅力还不够。