看到CASPO这个框架，第一反应是“终于有人对推理过程中的置信度下功夫了”。之前在做大模型推理优化时，最头疼的就是模型“假装会做”——中间步骤错得离谱，但最终答案蒙对了。这种虚假正确率在业务场景里极其致命，比如金融风控的推理链路，一步错可能带崩整个决策。CASPO提出的词元级别置信度对齐，理论上能缓解这个问题，但实际落地时有两个坑：一是迭代式DPO的收敛速度，我在内部测试中发现，小模型（7B以下）需要额外调参才能稳定，否则置信度会过于保守；二是CaT（置信度感知思维）在长链推理中，如果前几步置信度低，模型容易过早放弃正确路径，反而降低了鲁棒性。个人经验是，CASPO更适合中等规模推理（3-5步），对于超过10步的复杂任务，还是需要结合外部验证器做二次校验。想问两个问题：1. 有谁在代码生成场景试过CASPO？代码的确定性逻辑是否会让置信度校准更容易？2. 对比PPO，CASPO的样本效率如何？是否真的能减少人工标注成本？从行业看，这种自对齐思路是趋势，但距离替代传统RLHF还有距离，尤其在高风险领域，纯自监督的置信度仍需要人工兜底。