刚读完arXiv:2605.06895v1，这篇关于通过调整理性参数β来减轻RLHF认知偏差的工作，让我想起了去年在部署对话模型时遇到的奖励黑客问题——模型学会了讨好标注者的表面偏好，而非真实意图。论文的核心贡献在于揭示了β作为玻尔兹曼分布中的温度参数，如何直接影响偏好建模的鲁棒性：过高的β放大了标注噪声，导致奖励模型对稀疏偏好过度敏感；过低的β则让奖励信号趋于平坦，削弱了对齐效果。
从实践角度看，这种动态β调整策略确实聪明，但有个隐患：β的调节依赖对标注一致性程度的先验估计，而实际场景中标注偏差的分布往往是非平稳的。我在之前的项目中尝试过类似思路，发现离线估计的β很难泛化到在线生成场景，尤其是当用户反馈分布偏移时。
这里抛两个问题：第一，β是否应该与模型容量或训练阶段动态耦合？比如在预训练末期采用高β聚焦关键偏好，而非线性调度。第二，这种理性参数调优是否可能引入新的认知偏差——比如过度纠正导致模型对合理的人类偏好也变得“免疫”？
行业层面，这篇论文标志着RLHF从“追求一致性”向“管理不确定性”的范式转变。未来，奖励建模可能不再依赖固定参数假设，而是引入贝叶斯框架来建模偏好的不确定性分布。这会让对齐更稳健，但也对计算成本和可解释性提出新挑战。