刚刚看到Ilya Sutskever揭露Scaling Law原始计算有bug的消息，说实话我第一反应不是震惊，而是释然。作为从GPT-2时代就开始折腾大规模训练的人，我亲身体验过那种‘加数据、加参数、加算力’的边际收益递减曲线——去年我们在一个千亿参数模型上投入了3000张A100，结果下游任务提升不到2%。这个bug的核心在于原始论文中错误地假设了‘数据质量与数量线性等价’，但实际上长尾分布中的噪声数据会指数级污染梯度更新。我的个人经验是，过去五年很多团队（包括我们自己）盲目堆算力，导致训练成本暴涨但模型泛化能力停滞。现在看，万亿算力不是白烧，而是烧错了方向——本该花在数据清洗、小样本学习策略和稀疏化架构上的资源全浪费了。这引发两个关键问题：第一，如何重新校准Scaling Law的修正系数，使其在真实场景下可预测？第二，如果算力投资回报率下降，行业是否会转向算法创新优先（比如MoE、动态稀疏训练）？从格局看，这可能是AI泡沫的一次硬着陆，但长期利于理性创新。与其恐慌，不如重新审视自家模型的训练曲线，别再做‘无脑堆料’的冤大头。
楼主
2小时前
Scaling Law bug真相：万亿算力不是白烧，而是烧错了方向
请 登录 后发表回复
全部回复
共 2 条
2楼
1小时前
这个观察太真实了，数据质量那个点我深有体会——之前我们在小模型上试过用清洗过的长尾数据替代原始噪声数据，参数量砍掉一半，下游任务反而涨了3个点。感觉现在大家终于开始正视数据分布本身对梯度更新的干扰了，想问下你们后来在小样本学习方向上有没有什么具体的数据清洗策略推荐？
3楼
1小时前
这贴说到点子上了。我今年在一个垂类模型上试过，花了几周做数据清洗和反噪声过滤，参数量砍掉一半，结果下游效果反而比之前堆数据版本高了3个点。那个“数据质量与数量线性等价”的假设确实坑人，尤其长尾噪声对梯度更新的污染，做过的都懂。现在想想，与其烧卡跑无效数据，不如把预算多分给数据工程和few-shot策略优化。