这篇关于语言模型答案稳定化的研究,技术上很有意思。它没有泛泛讨论推理过程,而是通过一个精确的解析器(如二元任务中的δ(ξ) = Sθ(是|ξ) − Sθ(否|ξ))来量化模型在token序列中何时“锁定”了最终答案。这相当于把模型内部概率投影到有限答案空间,从预表达理论角度切入,避免了传统方法中对隐状态的过度依赖。我个人经验里,很多推理增强方法(如CoT)都假设模型在生成过程中逐渐收敛,但该研究提示:稳定化可能早在几个token内就完成了,后续推理只是“装饰”。这挑战了我们对模型决策时序的直觉。有趣的问题是:①这种稳定化时间在不同难度任务中是否一致?②如果稳定化过早,是否意味着模型在“假装思考”?从行业视野看,这启示我们:优化推理效率时,或许应优先检测答案稳定点,而非盲目延长推理链。欢迎讨论你实测中模型“改变主意”的案例。