大模型军备竞赛打到今天,训练成本成了一个停不下来的无底洞。国外已经在讲 10 万亿参数,国内大厂也纷纷设想 2 万亿、5 万亿。
怎么把这笔账算清,商汤联合创始人、首席科学家林达华给出的答案不是更大的参数,是「闭环」。在他看来,盲目卷参数量是一种不健康的竞争。「所有事情都需要有闭环,才能有效地迭代,否则只有刷榜,是很危险的。」
过去几年,商汤做了几次关键取舍。内部讨论过要不要做 2 万亿参数的模型,最终选择迭代效率更高的几百 B 体量。最早做的通用聊天产品,在 2023 年底判断为不是战略重点,转为瞄准办公和视频创作。年初 Seedance 2.0 发布后一度迷茫,最后把重心放在「创作」本身,随后 Seko 用户增长了 7 到 8 倍。
不变的是,坚持原创和底层研发。商汤至今仍留出 20%「不算短期账」的资源,投入没有任何产品出口的前沿预研。空间智能就是其中之一,并由此撞见反 Scaling Law:在部分任务上,数据越多、模型越大,反而做得越差。
这也指向林达华对智能本身更根本的判断。智能的本质是人跟世界的交互,语言是高密度的载体,但单靠语言并不完整。
在最近的一档视频播客访谈中,林达华复盘了商汤穿越两轮 AI 周期的取舍逻辑,也回答了几个核心问题:为什么跟在美国后面「拼手速」没有复利?为什么说「蒸馏的时代已经过去了」?
以下对话经 Founder Park 编辑整理,有删减。
01
押注几百 B 模型,
模型没有闭环就只是在刷榜
Q:这一轮大模型,和上一轮的 AI 竞赛相比,成本结构有什么不同?
林达华:这一轮,模型的通用能力有了实打实的质的提升。
定制成本大幅下降。虽然依然存在一定程度的定制,所以才有所谓的 FDE 的概念,但确实会轻很多。而且在一些效率工具,像 AI coding 工具的支持下,成本会降下来
真正的成本在两端,一个是服务成本,也就是 Token 价格。另一个是训练成本。
训练成本这件事,行业里有个假设可能并不成立,就是认为花巨大代价训出一个很好的模型,就能服务所有事情,并且成本在未来的大规模商业化的时候摊掉。但行业的现状就是,会发现训练成本依然居高不下。不是因为模型不够好,是你不继续训下一个,别人就会超过你。
相互竞争也好、卷也好,使得你不得不持续高投入、一遍遍地训下一个模型,训练成本永远停不下来,而且越来越大。这两天就有国内大厂说,国外都在讲 10 万亿参数了,大家纷纷开始设想 2 万亿、3 万亿、5 万亿参数的模型。训练成本始终不可能向下游摊,这是现在面临的困境。
Q:参数越大越好,最后会不会是少数几家大模型通吃?
林达华:不会。我一直跟大家讲,这里有一个三要素的博弈,甚至是一个不可能三角,成本、通用性和专业性。
通用性是能做多少件事,专业性是做某一件事时能做得多深、多可靠、成功率多高。技术上确实有可能训出一个既高度通用、又在每件事上都极其专业的超级大模型,代价是模型非常大,训练成本和服务成本都非常高。
小一点的模型一块钱能做的事,大模型也许做得差不多或者更好,但要花 100 块。因为它还有 100 种其他功能你用不上,你也得一起买单。
很多日常工作场景使用中轻量级模型就可以需求,我用一个 8B、32B 的模型就能把事情做好,为什么要把 Token 的钱交给 OpenAI 或 Anthropic?
竞争非常充分的时候,成本带来的压力就很大,那些牺牲一部分通用性、换来更低成本的模型,会有非常大、而且可持续的空间。哪怕 OpenAI 也会出几个规格的模型,不会用一个模型承担所有任务负载。Hugging Face 上有 300 多万个模型,它们在做很多不一样的事。
Q:很多原生大模型创业公司就卡在这里,一方面要给资本市场和投资人交作业,不停训基模证明自己还在全球 SOTA 前线。另一方面为了续命,开始做「甜点模型」,在能跑通 PMF 的小场景里先拿收入。资源就这么多,鸡蛋放在哪个篮子里?
林达华:大家开始更务实地思考,我觉得对行业是好事。所有人盲目地做参数量竞争,并不是一种健康的状态。
有两件事说明行业在走向健康。
一是大家更务实地选择模型规模。唐杰老师之前也提到,不一定马上要追求万亿参数,一个参数足够的优秀模型也非常有价值,比如现在很多办公任务中作为主力的 Flash 级别模型。
二是大家开始回过头看预训练数据的质量。有些团队训出了 2 万亿、3 万亿参数的模型,好像还打不过现在几千亿参数的模型。原因是数据没治理好,杂质很多,很多东西相互打架,效率被抵扣掉了。参数做得很大,效果还不如一个几百 B 的 Flash 级模型。又贵又不理想,这是很致命的,就会被「斩杀」。
在这种理性状态下,大家不一定围绕某个具体 metric 竞争,是从最终用户的价值出发,思考怎么用 efficient 的方法把价值 deliver 给用户,这样反而走得更远。
Q:从创立商汤到现在,你们有被资本市场和投资人的期待带着走吗?从什么时候开始想重新找回自己的节奏?
林达华:坦率说,在当前的大模型市场上,商汤的声量可能不是最大的,但我们一直走的是我们认为正确的路。任何技术最终的生命力,来源于有没有真真实实地创造价值。
关键不是你在某个 benchmark 上提升了多少点。今天你是 benchmark 上的 SOTA,下个月就不是了,这个东西留存不下来。真正能留下来的不是某个技术点、某个参数量,是你有没有真正在用户中留下来。
我们也讨论过要不要去做更大的 2 万亿参数的模型。真要做的话,有机会,也有足够的资源。但这个决策代表机会成本,把大部分资源砸在这上面,其他事就没有资源了。所有决策都不是对和错的问题,而是在你的资源禀赋和时间窗口下,哪些事情的组合,能让你朝目标走出最好的结果。
现在有两条路。一条是从 5000 亿做到 1 万亿、2 万亿、5 万亿参数,赌的是参数上去之后,效果能超出别人。当然,国内能做 5 万亿参数的公司可能都有好几家。
另一条路是把参数放在几百 B 的量级,不断优化训练、架构和数据质量。迭代的资源消耗和参数量在一定程度上成正比,你选一个几分之一大小的模型,迭代效率就快几倍。而且更重要的是,这样我们会有更多的资源留给探索差异化的路径。如果未来找到了不一样的 scaling 范式,我们也可能沿着新的范式把参数规模做到万亿。但是,沿着传统路径靠拼资源进行万亿竞争,对我们不是理想的选择。
最近各家都在发 Flash 模型,GLM-5.3 的 Flash、DeepSeek 4.1 的 Flash,Google 也出了 Flash,都很受欢迎。DeepSeek 4.1 Flash 的性能比 4.0 Pro 还要好,说明几百 B 的 Flash 模型依然有很大的提升空间。
也许终究有一天会真正碰到 capacity 的瓶颈,那时就不得不往前走。这里更多讲的是火候。
Q:除了火候,这两条路有没有信仰上的区别?
林达华:我认为参数量依然是非常重要的 foundation,更大的参数会带来更高的上限。
但如果给你 10 年时间慢慢迭代,也许能非常接近某个参数量下的高度。可现在新模型是两三个月一版,判断标准就变成了两三个月之后,它能走到哪个位置。
商汤过去十几年最重要的经验是,所有事情都需要有闭环,才能有效地迭代。否则只有刷榜,没有迭代。
举个理论上的例子,强化学习,里面的道理蛮深刻的。一种方式是在一件事上走很远很远,拿到更完整的 feedback 后再 update 一次参数。另一种是小步快跑,保持高频迭代。长期看,后者的结果更好。
所以无论是训模型,还是安排研发规划,我们都非常关注迭代速度。得保证足够快的迭代速度,同时方向要对。迭代方向要对,就一定得有用户。否则你对着 benchmark 迭代,是非常危险的。
02
和 Seedance 错位竞争,
把重心放到「创作」后用户涨了 8 倍
Q:在找真实用户闭环这件事上,大模型来临之后,商汤对于想要给用户什么,经历过一个 reshape 的过程吗?
林达华:我们并没有在两三年前就有一个宏大、精准的战略判断。商汤的路是走出来的,不是想出来的,这一点我觉得非常重要。
汤老师(汤晓鸥)说过,这是一个登山的过程。你不知道登到峰顶会看到什么风景,也不知道一公里后岔路口在哪里,但你不能天天只想着这些,得先往前走。他在一次年会上说过,走好脚下的每一步路,最终会到达一个比现在更好的地方。
商汤有一个很强的认知,是以科学规律的方式尊重年轻人的创造力。很多产品和技术团队都被允许用少量资源,去做一些徐立和我都不知道的事。我们知道他们在做我们不知道的事,很多惊喜就是从那里出来的。
我们不会预判一定要重投 A 还是 B,看的是这个产品如果真的做好了,会不会有很好的自然增长,那时才加大投入。不会因为领导意志,把一个不成熟的产品强行推到它不该在的高度。它成熟了,我们助力一把,让它更快地滚动起来。
商汤最早做的大模型产品不是今天的小浣熊和 Seko,是 2023 年初推出的对话产品「商量」。当时「商量」的构建和其他聊天产品非常接近。有一版做好后,我给我太太试用。她当时在外地出差,问的第一个问题是,附近 5 公里有哪几家值得推荐的饭店。
用户大部分对话不是问这张照片里是猫还是狗,是生活里遇到的具体问题,去哪个医院看病、去哪儿吃饭、开车去某个地方怎么走。要回答这些问题,模型只是一个加工器,它还需要大量的信息输入。商汤没有做搜索引擎,也没有大众点评这样的数据。
所以 2023 年底,我们就判断聊天不是我们的战略重点。
当时,徐立设立了大模型产品事业群 CNI,Content and Interaction,他认为模型带来的变革,一个是内容,一个是内容交互方式。内容又分两种,工作内容和娱乐消费内容。
于是有了以办公为主的小浣熊,和视频创作平台 Seko。最近所有大厂都说要做办公,我们两年前就开始做了。
Q:字节、腾讯、阿里都在下场做办公,有流量,也有飞书、钉钉、腾讯文档的用户基数。商汤小浣熊的钱,未来会不会被大厂赚走?
林达华:如果固步自封,或早或晚一定会被上游或下游挤压掉,这毋庸置疑。
大厂把办公当第一优先级、投入巨量资源和流量。所以我们不会在当前阶段用自己的劣势去打大厂的优势,我们没有那么大的流量池。
但办公 AI 的最终目的是创造价值。帮用户处理文书、写几个 PPT,是相对浅层的工具型价值。微笑曲线的一端是资源,一端是出口,中间的工具经常被两头挤压。只是两头怎么挤,总会有填不满的缝隙,给工具留下生存空间。
这里的核心点是,以最终价值为依归,你如何打穿整个行业。我们会发现,哪怕是最顶尖的模型,真正去处理具体问题时,也有很多不完整的地方,关键是你得有闭环。闭环会使得你认知成长的速度,比基模能力成长的速度更快,你就总能找到下一步的空间。
Q:今年年初 Seedance 2.0 出来时,Seko 是什么处境?
林达华:我们当时非常迷茫,甚至想过要不要做下去。我去见投资人、参加行业会议,所有人都问同一个问题,你和 Seedance 有什么区别?你做得过它吗?
坦率说,单拼视频模型的生成质量,我们比不上 Seedance 2.0。它是字节重金投入的巨大模型,生成的片段是电影级别的,Seedance 真的做得非常好。
后来我们想清楚了一件事。我们接触了大量下游创作者,他们最终要出的不是 30 秒的片段,是 100 集的短剧。从 30 秒的好片段到 100 集短剧,是一个完整的创作过程,需要考虑剧本、分镜、人物原型、人物动作,是一整套创作者自己的思考和创作过程。你先把这些东西都完成了,再用 Seedance 把它渲染出来。
所以在我们的体系里,Seedance 或者其他模型,都只是视频 generator。
我们理解的创作和生成是完全不一样的概念,创作要比生成大得多,空间也大得多。我们专注打造一个好的创作过程,把理解生成统一、图文交错思维这些技术亮点,以及跨剧集人物形象的一致性融进去,再借助 Seedance 的渲染能力,就形成了非常明显的区分。
今天行业基本也认识到,直接拿 Seedance 做端到端的影视创作,还有很多事要做。大部分人没有足够的 know-how 把整个体系搭起来,Seko 给的就是这个体系。
想清楚这件事之后,Seko 反而保持了很大的生命力,今年用户增长了 7 到 8 倍,也开始赚不少钱了。所以 Seko 和 Seedance 不是谁替代谁,而是相互错位的关系。
03
训模型,
跟在美国后面「拼手速」没有复利
Q:如果看模型层面的竞争,过去一年中国大模型走出了一条跟美国截然不同的开源道路。DeepSeek、Kimi、千问等的中国开源模型,已经能够把美国顶尖闭源模型拉下来打一打了。为什么开源会在中国演变成这样一条主流道路?
林达华:这个领域里的人,很多同行都是很好的人,但做开源肯定也有自身利益出发的考虑,开源正好把这两者理顺了。
开源免费,可以自己拿下来部署,比闭源更容易获得影响力。在今天这个时代,影响力的价值非常高。
之前我在上海人工智能实验室推动开源时,作为科研机构没有要赚钱的压力。但在公司,所有技术负责人要去推开源,一定会被公司管理层追问,「你开源为什么?能给公司营收带来什么?」你说能带来口碑、吸引人才,这些都没法写进定量公式里算出营收。因为算不清这笔账,早期很多公司对开源是很犹豫的。
转折点是 DeepSeek。DeepSeek 开源之后带来了巨大的影响力,所有公司都看到了,在今天这个时代,开源是获取行业影响力、尤其是初创公司拉升估值最直接的路径。拿着这个影响力,团队可以去募资、可以吸引顶尖人才。当公司都从各自利益出发选择开源,客观上就促进了很好的开源生态。
Q:当 DeepSeek、Kimi 等团队都走向开源之后,大家发现国内模型的迭代速度和表现似乎都变得更好了,这有逻辑关系吗?
林达华:有一定的逻辑关系,开源促进了技术的传播。
模型的迭代是怎样的过程呢?真正拿数据训出最终那个模型,只占模型研发成本的 1/10 左右,剩下 90% 是做各种实验,试各种配方和技术。开源、开放权重让技术更快地流通,团队在做实验时就能从社区最新发布的技术里,挑觉得最有可能的去做实验、做适配,找到最前沿、最好技术的速度就明显加快了。
这也是为什么按钱的投入总量来算,国内大模型的资金投入和美国差距很大,却还能追得这么近。中国人非常聪明,一旦知道某件事是通的,把具体技术方案找出来非常快,最怕的是不知道路在哪里。
Q:美国的顶尖模型是闭源的,也不公开完整的技术细节,为什么只要知道他们「走通了」,国内团队就能这么快把方案试出来?
林达华:因为很多技术原理是相通的,大体技术方案大家都有一定猜想和设想。
比如 2025 年 DeepSeek-R1 出来,验证了基于可验证奖励的强化学习(RLVR),也就是不断靠对答案来做强化学习。在这之前大家试过五花八门的方法,等 R1 论文发出来,虽然有部分细节没有完全写,但大体方向已经有了,其他团队只需要针对性地做若干次实验把剩下的细节填上,这条路就走通了。
再比如最近的 GPT-6,社区普遍猜测它用了 Recurrent Transformer,一个 Token 在网络里走几圈再出来。这在之前还是很学术的探索,现在 OpenAI 已经把它放进旗舰模型了,说明被验证了。具体方案很多学术论文都有,剩下的就是去把细节 figure out、再 scale up。
另一个是在具身智能上。以前大家觉得做具身智能必须做 VLA 或者近期讨论的 World Action Model,没人敢相信直接拿一个大语言模型去驱动机器人能行。
结果现在大家看到 OpenAI 往旗舰大模型里灌了大量具身数据,对机器人的驱动效果非常好,直接给整个具身行业带来了很大冲击。那么,接下来所有人把资源投进去,收集具身数据、训到一个大一点的 LLM 里。
我相信可能几个月,就能追到它八九成的水平。因为路看清楚了,而且有一个大概有谱的方案,你不需要为 100 种方法做实验,只需要为这一种做实验。
Q:按这个逻辑,中国是不是永远只能亦步亦趋,跟在美国身后做跟风式创新?
林达华:确实有很多公司在这么做,拼的是什么?拼手速。
美国出了一个新东西,看谁能在最短时间里做出一个中国版的同类方案,去抢占国内的生态位。
但说实话,拼手速蛮累的,因为别人也在拼。OpenAI 或 Anthropic 出一个新技术,国内两三个月内会冒出一堆宣称用了这个方案的东西,不管完不完善,先去抢生态位。如果只有一家抢,生态位可能就给它了。结果有 10 家在抢,就像现在的 RSI,也是一堆人在做。
我不是说这不好,沿着美国开拓的主流路径做优化和创新,效果立竿见影,在应用和生态层面打下了正面的基底。但大家看好一个东西就全部涌进去,这件事上没有形成长期价值。一个公司的长期竞争力,不是靠不断跟风,是靠持续的复利。在一条路上走得足够长、扎得足够深,别人很难在这条路上做到你的高度。
难的是,当你选的路不是市场上最热门、最主流的那一条时,你能不能坚持住自己的信念。如果未来中国要在国际科技竞争里有更持久的贡献,肯定还是得走出一些自己不一样的东西。这也是汤老师当初建立商汤时的理想。
比如 DeepSeek 的大范式虽然还是标准的 LLM 范式,但它在架构层面下的功夫,我非常佩服,下得非常深。他们在 Infra、架构的极致性能上做了非常深入的工作,所以 DeepSeek 的模型在 LLM 架构效率上非常突出。