OpenAI 在 10 月 30 日发了一篇声明，宣布将遵守 robots.txt 里的一个「通用信号」，用来让网站表达自己的内容能否被用于基础生成式 AI 训练。这事表面上是给站长省事，背后是 AI 训练数据获取规则的一次标准化尝试。值得把它的边界说清楚。
一次意向声明
声明很短，核心一句话：OpenAI 将遵守 robots.txt 中的一个通用信号（common signal），这个信号让网站表达对「内容用于基础生成式 AI 训练」的偏好。OpenAI 把它定位成一次自愿性努力（voluntary effort），并明确鼓励其他 AI 提供商一起遵守。
要纠正一个容易被误读的点：这不是「上线」，而是「宣布意向」。原文说「计划在未来几个月内实施，届时会再发更新说明实施细节」。所以它现在还没有生效，站长现在改了 robots.txt，短期内也不会被 OpenAI 读成新规则。
三条实质变化
这次声明的实质变化，可以列成三条：
| 变化点 | 内容 |
|---|---|
| 信号来源 | 来自 IETF AI Preferences 工作组，草案 draft-kelley-aipref-training-preference-signal |
| 解决问题 | 以前要逐个识别爬虫、为每个提供商单独维护规则 |
| 与现有控制的关系 | 不会取代 OpenAI 现有爬虫控制，后者继续适用 |
具体到规则的语法和指令，声明本身没有给——具体的字段名、user-agent 值、allow/disallow 写法都在 IETF 草案里。原文只链接了 OpenAI 的爬虫控制文档，说明现有控制继续有效。另外值得注意的是，原文没有点名 GPTBot 或任何具体爬虫名，只用了「各个爬虫」「现有爬虫控制」这类泛指。
对站长的影响
最直接的好处是「一次设置、多家生效」：如果这个信号被多家 AI 提供商遵守，站长就不用为 OpenAI、为别家各维护一套规则，一个共享信号向多个参与方传达同一偏好。这是把「爬虫治理」从逐家协商推向标准化的一步。
但要分清它管的是什么：这个信号只管「基础生成式 AI 训练」这一种用途，不取代站长对具体爬虫（比如搜索抓取、用户代理）的既有控制。也就是说，它是「新增一个表达训练偏好的入口」，不是「接管整个 robots.txt」。
还有个背景值得知道：这个信号不是 OpenAI 自己拍脑袋发明的，它挂在 IETF 的 AI Preferences 工作组下面，配套还有一份 AI 偏好词汇表草案。把它放进 IETF 的框架，意味着这不是某个厂商的私有语法，而是奔着行业标准去的——这正是它和「各家在 robots.txt 里写死自己爬虫名」这种老做法的本质区别。
站长现在该做什么
短期不用急着改：信号还没实施，具体语法也还没定，现在改 robots.txt 不会立刻生效。真正该做的是两件——一是继续维护好现有的爬虫控制（那部分仍然有效，别因为关注新信号就放松）；二是把 IETF 的草案进度放进自己的跟踪清单，等 OpenAI 发实施细节的更新时再动手。对做 CMS、做站点托管、做 SEO 工具的人，这个信号一旦落地，就意味着「AI 训练授权」会变成一个可以在 robots.txt 里统一表达的字段，相关的配置界面和导出逻辑都要提前预留位置。
待观察
真正决定这件事分量的，是两件事：一是实施细节——OpenAI 说未来几个月实施，但具体怎么读、读哪个字段、兼容性怎么处理都还没说；二是跟随者——它自己是自愿遵守，也呼吁同行，但有多少家会跟上，直接决定「共享信号」是事实标准还是 OpenAI 的单方面姿态。
对开发者，尤其是做爬虫、做内容聚合、做站长工具的人，这个信号值得提前跟踪 IETF 的草案进展。它代表的是一个方向：AI 训练的数据授权，正在从「靠 robots.txt 里写死某个爬虫」走向「一个跨提供商的通用偏好词汇表」。等它真落地的时候，抓取治理的代码和运维逻辑可能都要跟着改。