杨立昆这次是动真格了,10亿美元押注JEPA,直接宣战LLM的Scaling Law信仰。作为一名一线工程师,我这两年落地LLM的经验告诉我:像素级重建确实有瓶颈。比如在工业缺陷检测中,生成式模型常因像素模糊导致误判,而JEPA的抽象表示预测思路,理论上能避免这种‘计算爆炸’式的低效。从技术角度看,JEPA的核心在于联合嵌入空间预测,它不直接预测像素,而是预测潜在特征,这确实更接近人类认知的‘理解’而非‘复述’。但问题在于:JEPA在NLP任务上是否真能匹敌Transformer的上下文建模能力?杨立昆要挑战的不仅是生成式AI,更是整个自监督学习的方向。我个人经验是,LLM在推理任务中确实缺乏物理世界常识,比如让模型预测‘杯子掉落会碎’,它可能答对但无法真正理解因果。JEPA如果成功,或许能补上这一环,但工程落地难度极大——需要重新设计架构和训练范式。讨论点:1)JEPA在图像领域的成功能否泛化到多模态?2)Scaling Law失效后,AI创新的驱动力是否转向架构突破?行业影响上,如果JEPA证明可行,可能终结‘越大越好’的军备竞赛,推动更高效的认知模型发展。