蚂蚁灵光公布了 2.0 上线半个月的数据:托管了 300 万 项事务,执行了 1100 万次任务(上线一周时,这两个数是 116 万和 360 万)
托管量这个指标,是可能目前较为合理的一个 Personal Agent 北极星指标
但!本文不讲灵光(虚晃一枪),而是顺着“托管了多少事务”这个指标,我想跟大家聊一聊:Personal Agent 应该用什么指标?
作为背景,在过去二十年中,我们评价一个互联网产品项目的好坏,总是要拿一个参考的指标比如说:
• 门户网站时代,我们看 PV:页面多被打开一次,广告就多卖一次,于是满屏都是弹窗(就像旁边这个)
• 社交媒体或移动互联网时代,我们看日活
• 视频网站,我们则是看总时长
这些指标,便被称作北极星指标
广告仙侠页游关闭广告热血传奇关闭广告系统提示关闭VIP会员中心嫌广告太多?开通会员,全站免广告阅读首月¥9.9原价 ¥30立即开通关闭
但到了 agent 的时代,或者说现当下的 personal agent 的时代,北极星指标应该是什么呢?其实尚未有定论
北极星指标从哪来
所谓的北极星指标,就是项目挑选出来最能够代表项目进展的一个数字,典型的北极星指标就是 DAU、GMV、ARR 等等

我们的互联网浪潮来了好几轮,每一波新的产品形态都会给大家带来新的指标。比如说最早的时候,我们会怎样去评价一个网站的牛逼程度呢?我们用的是 hit 数量,也就是用户与网站的交互次数
比如说一个网站有几十张图,用户打开一次,服务器就会收到几十次请求于是,在第一版的互联网网站上,它大概是长下面的这个样子:

emmm...当年就有人给 HITS 编了个全称:How Idiots Track Success(白痴们衡量成功的方式)
在后来大家改成数页面,打开一次算一次,也就是 PVPV 一用就是好些年,直到 Ajax 流行起来(Gmail、谷歌地图都用它):页面不用刷新,新内容自己就加载出来了。你在 Gmail 里待上半小时,PV 也只记一次
2007 年,尼尔森干脆改按停留时长给网站排名。这家公司做收视率起家,美国的广告主照着它的排名投钱结果呢?按 PV 只排第六的 AOL(美国在线),一下子成了全美第一。毕竟那会儿很多美国人收邮件、挂聊天,用的都是 AOL
从 hits 到 PV 再到时长,每次换数法,都是因为旧的数涨了,广告主的钱却没买到更多的用户注意力
指标决定了产品长什么样
任何产品都不是一个能够整体运转的机器,它都是由人、由部门组成的。那么上面给下面定考核的目标,就是你必须要把某个数值优化到什么程度
于是项目就会变成全公司着力去优化某一个或某几个数字,并且围绕这几个数字进一步设计变现。这两股力量相互影响,最后就变成大家都会非常卖力地去优化它
以门户网站为例,它是要靠卖广告位收钱(每一千次展示要多少钱)但考虑到每一次、每一个版面能放的广告数量就这么多,于是当时大家就会拼了命地去增加同一个信息的曝光,让同一个信息能够跨站、承载到更多的页面上
回忆一下 05 年前后的网站,是不是下面的这种奇景?

但很显然,这种伤害用户体验的方法,会让更多的人选择使用竞争对手的产品作为一个注脚,在 10 年的前后,美国的一个八卦博客 Gawker 发现,旗下一篇帖子拿了 14308 个 PV,带来的新读者却只有 756 个。于是 Gawker 把编辑的奖金,改成了按独立访客(UV)算
再说社交网络
我们现在回看,那一代产品争的都是人的注意力,而衡量的一个最佳体现,便是 DAU
Facebook 2012 年上市时,日活是 4.83 亿。围着这个数做了十几年,到 2023 年底,日活涨到了 21.1 亿
中国移动11月12日 星期四9:41你的 Agent现在再不打开,我就要被扣绩效了你的 Agent5分钟前你已经 2 天没打开我了你的 Agent21分钟前你的好友也在用,快来看看他们都问了啥你的 Agent1小时前猜你想问:今天天气怎么样?你的 Agent2小时前好久不见,有 3 件小事想跟你聊聊你的 Agent3小时前今日签到领 10 积分,连续 7 天送会员

视频网站则盯上了时长。YouTube 早年按播放量推荐视频,结果推上来的多是标题党2012 年,YouTube 改成按观看时长推荐,还立了个目标:每天的观看时长,要从 1 亿小时做到 10 亿小时,并在 4 年之后达成目标
视频网搜你想看的搜索上传登录05:00高清震惊!他只改了一个指标,日活翻了十倍流量密码研究所订阅128 万98,765,432次播放318 万2.4 万相关视频自动播放00:15猫看完这个视频,愣了整整三秒铲屎官日报1,203 万次播放接下来播放00:15猫看完这个视频,愣了整整三秒取消05:00
这时候你会发现,我们的互联网这一波主要营收是广告,需要向广告主兜售用户的使用时间。因此,我们才有了 PV、日活、时长等等这些指标,去抢占用户的注意力,这也相互决定了产品的形态:选了什么指标,最后就会得到什么样的产品
Personal Agent
当到了 Personal Agent 的这个时代,我们的指标应该看什么呢?首先应该被否认的是用户时长,因为 Personal Agent 并不是靠贩卖注意力来产生营收的
Personal Agent 的钱,来自用户为“把事办成”付的费:或者是个人版按月订阅(ChatGPT、Claude 的个人会员都是每月 20 美元起),又或者是企业那边已经开始按结果收钱
而对于交互和时长,那都是烧的雪花花的 token,尽可能少吧Personal Agent 把事情办得越好,用户需要打开它的次数就越少

这种数据和直觉反着来的事,以前就有过
二战时,美国的统计学家帮军方分析返航轰炸机身上的弹孔:机翼、机身上密密麻麻,发动机那块却没几个直觉上,哪儿弹孔多就该往哪儿加装甲。统计学家 Abraham Wald 却建议,把装甲加在弹孔少的地方,毕竟发动机挨上几枪的飞机,已经飞不回来了

还有一家大家都懂的视频网站,P 站(这里就不明说了)。坊间一直流传着一个说法:它早年判断视频好不好,看的是有多少人看到一半就关掉了……
emmm...因为那时候,用户已经“好了”
GitHubSearch or jump to…/12:00高清资深师傅上门修 Pipeline(完整版)★ 12.4k · 1,204 万次观看 · #hotfix98% LGTMCode Review · 实时判定用户已离开看到 52% 就关了LGTM:好视频
倘若这时候还考核日活,那团队就会多发推送、多设提醒,变着法儿让你每天多来几趟,这就和“替你省心”反着来了
反过来看,一个交代完事情、之后再没打开过的用户,在日活报表里叫沉默用户,可这位用户用得最好
日活报表/用户明细今日日活 DAU1,024,7683.2%较上周用户近 7 天打开状态用户 1024今天打开 12 次活跃用户 2048今天打开 7 次活跃用户 042937 天没打开过这 37 天,他交给 Agent 的事盯机票降价退订忘了的自动续费交水电燃气费提醒孩子打疫苗车辆年检预约……共 12 件,全部办完用户 0001今天打开 3 次活跃沉默用户用得最好
先开个玩笑,这里要给大家介绍一个最被人熟知的 personal agent:微信

支持多模态,响应速度看心情
里面有非常多的角色 Agent,有些 Agent 非常的逗逼,有些 Agent 能够解决你生活中的各种问题,而且这些 Agent 都能读图,甚至能给你打语音

对于微信张小龙说的用完即走,放到 Personal Agent 身上,则应该是不需要用完,人就走了
Personal Agent 该看什么
照前面的道理,人不需要总是盯着 personal agent 的屏幕。如果真的要给 Personal Agent 设计一个北极星指标,那么它一定要去关联什么呢?
- 用户交给他办了多少件事
- 他办成了多少件
这两个数,也需要能够和收入挂钩,比如做客服软件的 Intercom,旗下的客服 Agent 会直接按结果收钱,帮客户解决一个问题,收 0.99 美元(其实我并没有找到很好的例子,只是在这里拿它来举例)

本文最开始的地方说了灵光,大概也是这个方向,去争取用户手里的托管权,比如让它盯着刚订的机票有没有降价,也可以让它把那些忘了取消的自动续费翻出来……条件一到,它会来提醒你,有的事也会直接动手办掉。你交出去多少件这样的事,托管量就是多少

当然,之后可能我们还会看到其他这样的指标:
- 托管率:多少用户在托管
- 完成率:交出去的事,办成了几成
- 按事算的留存:一件事托管 30 天后,还在不在 AI 手里
当然,以后的指标具体长什么样,现在谁也说不准,就连托管量自己,也还有一堆口径等着对齐,比如……定一个闹钟,算不算托管了一件事?(小爱同学狂喜)

类似这种 Personal Agent,其实挺像自动驾驶的我之前看资料说,在加州进行路测的公司需要向车管局上报平均每行驶多少距离需要人去接手一次。这种东西也可以转换到 Personal Agent 上面,不过这个可能不叫业务指标了,这可能是产品性能优化指标
最后
之后或许还会有暴论:Personal Agent 经典用户画像是高频打开,但每次的使用时长极低,背后负责处理任务的机器 24 小时连轴转(被塞满了各种任务)
文章来自于微信公众号 “赛博禅心”,作者 “赛博禅心”