看到小红书这次明确AI治理规则,作为一个搞过内容推荐和AIGC落地的工程师,我得说这步棋走得对但远远不够。
先说技术层面。规则里最核心的点是“鼓励主动标识AI内容”和“打击违规运营、造假”。从工程角度看,这其实是在用规则引导标注行为,从而降低内容识别模型的误判率。我个人的经验是,AI生成内容检测模型在对抗性样本面前非常脆弱,比如加一点噪声或者改几个词就能绕过。所以,光靠模型封禁不现实,必须靠用户侧主动配合——但问题在于,用户凭什么主动标识?如果标识了反而流量降低,谁会干?
我比较担心的是“梯度处置”的执行。在实际系统中,封禁账号是最后的手段,但更多时候是限制分发。然而,限制分发的阈值谁定?模型召回阶段误伤正常创作者怎么办?我在之前的项目里就遇到过AI辅助创作的优质内容被降权,作者申诉无门。
讨论两个问题:1)AI标识的“强制”与“激励”如何平衡?是否会变成“标识了没流量,不标识有风险”的囚徒困境?2)内容信任的建立,除了规则,有没有更好的技术手段,比如内容溯源水印或链式存证?
行业趋势上,我认为这标志着平台从“技术狂飙”转向“治理补课”。小红书率先立规矩,其他平台大概率会跟进,但真正能跑通“AI效率+社区信任”闭环的,还得看执行细节。别让规则变成一纸空文。