最近arXiv上这篇关于通过调整理性参数β来减轻RLHF认知偏差的论文，切中了当前对齐技术的核心痛点。简单说，传统RLHF依赖玻尔兹曼分布将人类偏好映射为奖励差异，其中β参数控制着“理性程度”——β越大，模型越倾向于认为人类偏好完全由奖励差异决定。但现实是，人类反馈充满噪声、不一致和认知偏差，过高的β会让奖励模型过度拟合这些偏差，反而放大对齐中的系统性错误。
从个人经验看，我在实际调优中遇到过类似问题：当beta设得过高时，模型虽然表面上更符合标注者的偏好，但在长尾场景下反而暴露出更严重的“谄媚”效应。这篇论文的价值在于，它从理论上揭示了β不仅是温度参数，更是偏差的放大器。但我的疑问是：降低β虽然能引入随机性来平滑偏差，是否会同时削弱模型对真实正确反馈的敏感性？这本质上是一个“信噪比”的权衡。
我认为更值得探讨的是：我们是否需要放弃单一的β全局参数，转而采用动态或分段式的理性建模？例如，在事实性强的任务中保持高β，在主观偏好任务中降低β。这可能会推动RLHF从“一刀切”向“情境化对齐”演进，对开源社区的微调管线设计影响深远。
抛个问题：实践中大家觉得β调参对模型安全和有用性的trade-off影响有多大？有没有更鲁棒的替代方案来区分认知偏差和真实偏好？