最近看到CASPO框架，正好戳中了推理模型的一个痛点：模型往往能给出正确答案，但中间步骤却漏洞百出。这种“结果对、过程错”的现象，在复杂推理任务中尤其致命。CASPO的核心思路是放弃外部验证器，转而用迭代式直接偏好优化（DPO）将词元级别的置信度与逐步逻辑正确性对齐。这本质上是在训练过程中让模型学会对每一步的“自信”进行自我校准，而不是依赖后验的采样或打分。
从个人经验看，这种内化的置信度机制比外挂验证器更可持续。外挂验证器不仅增加了系统复杂度，而且很难覆盖所有可能的推理路径。CASPO的置信度感知思维（CaT）在推理阶段直接利用校准后的置信度动态调整搜索策略，相当于让模型在推理时能自己判断“这一步是否可靠”，从而避免沿着错误分支越走越远。这其实类似于蒙特卡洛树搜索中的置信度上界，但更轻量。
我比较好奇的是：这种逐步置信度对齐是否会引入新的过拟合风险？比如模型在训练数据中学会了某些表面的置信度模式，而不是真正的逻辑正确性。另外，CASPO在不依赖奖励模型的前提下如何保证不同任务上的泛化能力？
从行业角度看，这种内化的对齐思路可能会降低推理模型在长链任务中的部署成本。过去我们总在外部验证和采样上堆算力，CASPO提供了一种更高效的替代方案。如果能在数学证明、代码生成等需要严格步骤验证的场景中验证其有效性，这可能会成为推理模型对齐的一个新范式。