最近arXiv上那篇关于通过调整理性参数β来减轻RLHF认知偏差的论文（2605.06895），让我重新审视了奖励建模的底层假设。核心思路其实很直接：在玻尔兹曼偏好模型中，β控制着人类反馈的“一致性”程度——β越大，偏好越严格遵循奖励差异；β越小，则容忍更多随机偏差。论文的关键洞察是，固定β会强制模型学习一种理想化的偏好分布，从而放大标注者自身的认知偏差（如顺序偏差、锚定效应）。通过动态调整β，相当于给奖励模型增加了“容错空间”，使其更能抵御不完美的人类反馈。
从我个人的实践经验来看，这个方向确实戳中了RLHF的痛点。我们团队在训练对话模型时，经常发现奖励模型对某些边缘案例的评分异常敏感，根源往往在于标注者之间的分歧被玻尔兹曼公式硬性压缩成了单一标量。动态β相当于引入了不确定性建模，但问题在于：β的调整策略本身是否可能引入新的偏差？如果β的更新规则依赖历史偏好数据，那它本质上还是在拟合已有的标注模式，而非真正消除偏差。此外，β的动态范围如何界定？过度松弛会导致奖励信号失效，太紧又回到原问题。
我想抛两个问题：第一，动态β是否可能通过对抗性标注被利用，比如故意制造低一致性样本来操纵模型？第二，这种思路能否与DPO（直接偏好优化）结合，替代传统的奖励模型训练？从行业趋势看，这标志着RLHF正从“追求完美反馈”转向“包容不完美数据”，未来可能推动更鲁棒的偏好对齐框架，但落地前还需要更多跨任务验证。