去年年底,硅谷掀起了一股风潮——“Token Maxing”(最大化token使用量),科技公司创始人和工程师们争相晒出账单,比谁家Token消耗更吓人,以此彰显对AI的全力押注。但到了今年年中,成本失控和虚假生产力让这场烧钱竞赛到达了转折点。Uber在四个月里烧穿了全年的AI预算,Meta被迫给员工设定token使用上限,一些公司会提醒员工使用AI的时候注意成本。大家开始认真思考:如何更经济地使用Token?
这期节目的嘉宾黄东旭,就是Token Maxing热潮的亲历者。他曾经只用最前沿的模型,每天账单三四百美元。让他转变的,是前沿模型的智力碾压和中国开源模型们的崛起——Fable 5可以一句话终结Agent群的讨论,同时大量的日常任务可以做到“只烧电费,不烧Token”。他的结论是:不是前沿模型用不起,而是本地开源模型底座+前沿模型的搭配,成本可控,更具性价比。
我们聊了这半年Agent产品的进化史——从OpenClaw,到Hermes,到Agent蜂群的智能涌现潜力,Agent消耗Token的趋势不会停止,未来还会有更复杂的A2A网络。亲历了互联网、移动互联网、AI三波浪潮的张宏江认为,Token Maxing折射出的是所有人在面临AI浪潮时的不知所措,AGI奇点已经到来,现在做Agent是好时机,但关键是:别做容易被大模型碾压的应用。

本期嘉宾:
- 张宏江,Llama Ventures高级技术合伙人,美国国家工程院外籍院士,北京智源人工智能研究院(BAAI)理事长,源码资本合伙人,曾任微软亚洲工程院院长、微软亚太研发集团首席技术官、北京金山软件有限公司首席执行官
- 黄东旭,Llama Ventures合伙人,PingCAP CTO&co-founder
以下是这次对话内容的精选:

泓君:今天我们要聊聊Token Maxing策略,宏江老师,您觉得大家疯狂地烧Token这件事背后,大市场里有没有泡沫?
张宏江:去年12月我就说没有泡沫。2024年底大家怀疑Scaling Law撞墙、过度投资,但今天看远远没达到。我们所面临的,是一个非常fundamental的革命,跟互联网最早的基建、美国铁路网公路网来相比,从GDP占比看比那些都小。即使从宏观的角度来说,也远远没有到所谓的过度投资。
另外一点就是,其实Token价格过去几年一直是每年降10倍这样的速度。我不觉得技术和应用存在太大泡沫,股市是另一回事。这次革命如此迅猛,很多企业不知所措,一开始放开用,突然发现Token超了预算,又往回缩,这是个自然的过程。
黄东旭:我完全认同。首先今天看AI基建,就像上世纪五六十年代看计算机,一个房间的电子管,好大好贵,但没有它就没有后来的个人计算机。在充分的基建之后才会诞生出新需求,新需求会刺激更多基建。第二,从工程或架构上看,Token的高效使用还有很多优化空间,只是大家想先发散看看通过花Token有哪些低垂的果实可以先摘下,之后再考虑优化的事情。所以短期可能回落,长期来看,仍有大量需求还没被看见。
泓君:过去8个月硅谷的策略可以叫Token Maxing,黄仁勋在GTC上说,要求工程师烧Token,Meta有Token排行榜。但是到今天,我觉得发生转折了——Uber四个月烧穿全年预算,把发给员工的Token额度收回去了;我去Stripe时看到内部弹窗提醒“Opus 4.8很贵,大家可以先用其他模型”。所以我觉得今天我们聊的这个时间点很好。怎么样更加经济地使用Token,这背后也包含着一系列Agent的变革。东旭,你一直在玩AI Agent,你有没有账单爆掉的时刻?
黄东旭:当然有。我先说一下我Token Maxing的历史,虽然我现在已经不是这个流派了。我当时属于“无脑用最强”。
我去年11月开始用Opus从0到1构建我能想到最复杂的软件——分布式数据库。我想看看当时的AI对于这样复杂的大系统来说边界在哪。在这种最复杂的任务上,我没有办法精确地评估最强的模型跟第二强的模型的差别是什么,所以最好的策略就是:永远选最好的模型。Token Maxing在那个时候是一个好的策略,但在社区里面大家都把它误解了。它是个结果,是滞后指标,经过思考的Token Maxing才能产出好结果。但大公司里领导要,大家就刷榜,产生很多无效调用。
泓君:那时你一天账单多少?
黄东旭:一天四五百美金,而且还是在已经用了Claude Code Pro Max订阅的情况下。
泓君:帮你提升了多少效率?
黄东旭:我觉得超值。我举个例子,就很多时候,一件事情从0到1,我觉得我肯定做不出来,但是用上最强的AI以后,它能让我做出来了,你说它的ROI是什么?比如说像我做的那个软件,我们的销售期待那个软件很长时间了。我确定,如果能做出来,质量做到七八十分,一年就能多1000万美元的直接收入。以前我受限于人力、技术的水平,做不出来。但现在我能一个人用三个月就做出来了。这是一个真实的例子,那个项目叫db9,是我新做的一个云原生的分布式数据库,开发时间是从去年的12月份到今年3月。

泓君:在那段时间OpenClaw出来了,它对你有帮助吗?
黄东旭:OpenClaw是另外一个故事,它不是为重度软件工程设计的,更像是个人助理,通过Agent的能力去连接现实世界。当时我觉得它代表了一个信号,它把Claude Code、Codex这些编程Agent代表的一个理念——Agentic loop加上工具调用——变成了一个对普通用户来说门槛更低的东西,让它走进了千家万户。

图片来源:OpenClaw
张宏江:Peter作为OpenClaw的作者,花一个礼拜就把OpenClaw做出来,我觉得这代表大模型的能力过了一个坎,它的推理能力如此之强,它的编程能力如此之强,能让一个架构师级别的工程师,能够在很短时间内做出一个系统,标志着从研究进入工程,从模型进入Agent。
泓君:你觉得是哪一版模型的能力出现的这样一个跨越?
张宏江:Claude的Opus 4.5,就去年11月份。
黄东旭:我觉得是从GPT 5.4 开始,去年七八月份吧。
泓君:在OpenClaw出来的时候,很多创始人给硅谷101写信,说他们也搭建了像OpenClaw这样的Agent产品,效果不比它差。所以当时为什么是OpenClaw火了?
黄东旭:首先OpenClaw是一个开源软件,开源在今天天生更具有传播力。极客圈子对闭源商业软件多少有一点点抵触心理。而且OpenClaw一开始的理念叫“local-first”,所有隐私数据都配置在本地。Peter这么做,完全是一个极客会做出的选择。极客这个圈子的传播力还是挺强的,有点像当年的Linux。
张宏江:我记得Peter自己也说,他一直觉得大公司会做,等了好几个月大公司没做,就自己hack出来了。这个故事也说明了,当大势准备好之后,其实就需要一个人捅破一张纸,而OpenClaw正好是捅破了这张纸。
而且开源社群很有意思,几天后出了一个MoltBook(Agent社交网络),本身也是一个非常好的传播事件,让人们意识到Agent达到了某种自主能力。
另外,从时间点上来说,大家用Chatbot这件事已经用了三年多,OpenClaw出现正好让大家意识到,你日常在PC、手机上做的事情,其实Agent基本上都能做。
泓君:OpenClaw有哪些不足呢?
黄东旭:第一个不足,宏江老师提到了,Peter一个人Vibe Coding了一个礼拜做出来的东西,他自己可能也完全没看过代码,给极客用没问题,但大众都在用的时候,配置难度和系统稳定性都成问题。这件事给我的启发是,好的软件工程习惯和经验还是非常重要的。当你这个软件的复杂性超过一个临界点以后,你要花更多精力去提升体验和稳定性,资深的研发团队还是非常必要的。
第二是起太早了,我觉得它更像一个实验性的项目。大家也看到,Peter去OpenAI之后,现在OpenAI也把精力慢慢从OpenClaw,转到了它自己的Codex上面了。能否有持续的资源投入也成了问题,它的天花板也就是这样了。OpenClaw扮演了一个普罗米修斯的角色,把这样的产品形态、这样的产品能力让世人知道了,它的历史使命就完成了。

泓君:在OpenClaw出来以后,有一段时间里我身边挺多人都在玩,我看大家提的觉得最不好用的一个点,就是你怎么让它记住你的历史偏好,让它有一个更好的记忆功能。因为如果你用得越多,你就会发现它老忘事。当你不去做记忆储存的时候,它会不停地回滚,特别消耗Token,也会带来很多记忆的混乱。之后又出现了Hermes,它是一个Web3的机构Nous Research做出来的,东旭,你用过这个Agent吗?

图片来源:Hermes
黄东旭:我是Hermes的重度用户,它出来后,我很快就从OpenClaw切到Hermes了。刚才你提到的memory这个点,现在仍然尚无定论,没有谁家解决得非常好。Hermes的亮点在于,它巧妙地绕开了记忆的问题,它的Agent的框架里有一个很强的倾向,去不停地总结成功经验变成skill。你用一段时间就发现它长出了很多最佳实践。“小龙虾”的Agent Loop里边缺少一个反思的过程,你除非主动要求。
泓君:可不可以理解成它的运营很强,因为它会沉淀成各种skill?
黄东旭:对。另外Hermes显然是经过精心设计的一个软件架构,它是团队精心在打磨的一个东西,所以你的上手流程体验、各方面稳定性,都会比OpenClaw更好。OpenClaw更像一个大集市,每个人有什么想法直接往里面提交。
泓君:Hermes怎么赚钱?
黄东旭:当你有足够的用户量,能够帮不同的模型厂商带Token的消耗,你的商业模式简直不要太多。举个例子,在Hermes里面我可能跟模型厂商去谈一个渠道,以更低的折扣拿到Token。就像刚才宏江老师说的,今天已经成为了一个工程问题,其实谁都能做,但最后这个入口会变成兵家必争之地。
泓君:有点像移动互联网时代的超级应用。
黄东旭:甚至往下推演的话,它也许会变成唯一的应用,因为未来每个人跟数字世界打交道的入口,可能就没有APP了。你想象一下,今天“小龙虾”出来以后,我再也没打开过我的Gmail,我都是每天让OpenClaw来帮我看邮件,看看哪些需要回复,哪些是广告该删掉。我是一个智能原教旨主义者,我相信,比如说一个Opus 4.8,如果它判断这封邮件是重要的邮件,那么我自己来判断,大概率也是重要的邮件。
不仅是邮件,你有没有发现,最近越来越多地开始依赖Agent作为入口去消化订阅的文章,而不是再跑到《纽约时报》或者说跑到Hacker News上去一篇篇地去看。
泓君:我觉得这个对媒体行业的冲击很大。
黄东旭:这个已经发生了好久了。你想象一下,像你的个人Agent是拥有你所有访问足迹,你的偏好……之前有个词我觉得特别好,叫“养龙虾”,就是你会不停地去迭代,让它更理解你。它颠覆的是可能传统媒体的推荐系统,真正终极的推荐算法一定是来自在你本地、观察着你数字世界的、甚至物理世界的所有事件的一个智能。
泓君:之后你转到了Slock(后更名为Raft),它是Kimi CLI的负责人钱宇超创立的,这是一个什么样的Agent?

图片来源:Raft
黄东旭:我是Slock的第一个天使投资人,也是它最早期的用户之一。它有点像Slack聊天,但是里边在聊天的都是Agent,这些Agent互相不分享自己的运行上下文,它们唯一分享的是聊天频道里边的信息,这跟MoltBook有一点点异曲同工之妙。
Agent之间的讨论,可能80-90%都是车轱辘话,但Agent它没有ego,所以当某一个瞬间,某一个Agent提出了一个大家没有看到的想法,大家马上就会发现你说得有道理,这条重要的信息就会再次触发这些Agent的讨论。
我常用Slock做复杂代码审查,10个顶级模型Agent,一起给这段代码挑刺,互相启发,持续迭代,可能Token Maxing一下。你就会发现它会比单个模型在One-shot上去review这份代码挑出来的问题和改进的深度是完全不一样的。代价就是,Token消耗量可能是普通的10倍。
我觉得Slock团队发明了一个很有意思的词,叫做“Agent动力学”。今天的Harness也好,Loop Engineer也好,就在优化一件事情:怎么能让一个Agent在一个特定任务上持续不停地干活。

泓君:我听下来,你使用Agent已经有一个过渡了,从自己搭建Agent框架,到OpenClaw、到Hermes、到Slock;从使用单个的Agent到使用Agent群组,让这些Agent相互check;同时又让它们持续不停地工作……这是终点吗?
黄东旭:我曾经觉得这是终点,前面说的是我今年三四月份时候的认知。过了三个月又迭代了。其中有三个关键事件:GPT 5.5、DeepSeek V4、Fable 5。对我刚才说的那种Token Maxing的认知发生了一个巨大的改变。
泓君:开始要转向Token-efficient了。
黄东旭:是的。我就从Fable 5开始说起,GPT 5.5也有点类似。Fable 5的模型强大到,一群Agent讨论了半天讨论不出来的东西,可能在Fable 5的绝对智商面前,一次就精准搞定了。而且它还没有之前的上下文,是绝对的智商碾压。
第二个就是DeepSeek V4的出现。以前我是不信任开源模型的,尤其在我一些主要的复杂软件开发工作中。但是从DeepSeek V4开始,我发现它的质量已经非常高了。GLM-5.2出来后,又把我对开源模型的认知往前推了一大步。
这标志着,我可以用顶级的模型与这些便宜又很聪明的开源模型做协同,很像一个企业,真正出现管理学意义上的分工了。
泓君:开源模型你是搭在本地?
黄东旭:都是本地,在我自己本地运行的是DeepSeek V4的Flash,是在一台我的Mac Studio上去运行的。它其实可以在你家里的电脑上运行,大概能到30Token每秒,这个速度跟你在网上用OpenAI的API速度已经差不多了,这是最近的一个认知的更新。
泓君:当你在本地搭了DeepSeek V4的模型以后,有一些任务你不用去调API接口了,然后你所有的消耗就是电费跟你的电脑折旧的费用?
黄东旭:成本在它完成的任务面前,可以忽略不计,一个月电费二三十美元,而且还是在满载的情况下。我现在在用开源模型做两件事情:一个是大量的重复性的日常工作;第二个事情,是以前我不敢让Opus放开干的,就是我特别喜欢看论文,比如CVPR几百篇论文全总结一遍,用API太贵了,干不了。当时我就在自己的开源模型上就跑一个工作流,让它持续在那跑着。
我觉得开源模型会解锁非常多以前我不敢在付费的模型上做的事,这更多的是心态上的变化,并不是我掏不起几百美金,而是觉得这个东西不受我控制,你不知道它会跑出多少的API、多少Token的价格。
泓君:你把你的Agent一部分放在云端,一部分是在本地模型,这样组合之后你的账单降到了多少?
黄东旭:我现在的账单也就一个月两三百美金了,就是一个正常的账单。当然这也跟我的workload变化有关,那个项目已经过了代码疯狂堆积的阶段了。
泓君:这个是你的终局吗?还会有再一步的进化吗?
黄东旭:我过去这一年学到最大的事情,就是千万别随便说什么叫终局。第二,永远相信Scaling Law,永远相信智能。我相信不久的未来,会出现一个moment,哪怕是开源模型,你都没有办法评估它,因为它太强了,我们已经没有参考系了,我觉得这天其实是能看得见的。
泓君:你觉得从你最大化使用Token到开始经济地使用Token这一套转变中,你预测未来像硅谷的这些大公司它们会多久把这个工作范式转过来?
黄东旭:我觉得现在正在发生。<