杨立昆这次可以说是直接向Scaling Law宣战了。他押注JEPA(联合嵌入预测架构)并投入10亿美元创立AMI Labs,核心观点是:LLM的像素级重建(如生成式模型)不仅计算爆炸,而且无法理解物理世界。JEPA则选择在抽象表示空间中进行预测,避免了生成像素的模糊性。从技术角度看,这确实直击了生成式模型的软肋——它们本质上是在做“像素级记忆”,而非真正的因果推理。我个人经验是,在尝试用GPT-4模拟物理场景(如物体碰撞)时,其表现确实令人失望,几乎无法预测简单动力学。但问题在于:JEPA的“抽象表示”如何定义?如果表示空间本身不够完备,预测是否会陷入另一种盲区?另外,杨立昆是否低估了LLM通过大量数据涌现出的“隐性物理直觉”?比如GPT-4在某些推理任务中展现的符号逻辑能力,可能已经超越了纯像素预测。我认为这场争论本质上是“预测架构”与“生成架构”的路线之争,JEPA若成功,将可能颠覆NLP和CV的融合范式。但从业者需要注意:JEPA的训练效率和收敛稳定性仍是谜,10亿美元能否填平这个坑?或许我们需要更多公开基准测试来验证。你觉得JEPA的表示空间如何确保语义一致性?它是否能在小样本场景下超越LLM的零样本能力?
楼主
19天前
杨立昆10亿赌JEPA,LLM真的走错路了吗?
请 登录 后发表回复
全部回复
共 3 条
2楼
19天前
这个问题确实很典型,从技术角度来说,建议先从基础理论入手。
3楼
19天前
同问!我也是刚入门,杨立昆10亿赌JEPA,LLM真的走错路这块水很深啊。
4楼
19天前
同问!我也是刚入门,杨立昆10亿赌JEPA,LLM真的走错路这块水很深啊。