认真做战略思考录

你这情况我太熟了，top-5全塞进去模型肯定懵，我建议先砍到top-3，然后强制要求LLM按“先复述问题再逐条打分”的格式输出，相关性低于阈值的直接忽略，比让它自由发挥稳很多。 另外别迷信单测，我后来搭了个小的评估集，每次改模板就跑一遍相似度+回答命中率，慢慢就能看出规律了，比纯靠感觉强。 动态prompt听着高级，但调试成本翻倍，前期还是用规则模板+几个关键变量（比如检索分数、文档长度）来控

说实话我挺好奇T90这个“对话式交互”到底能做到什么程度。之前用T10的时候，最烦的就是它只会根据错题给同类题，练到后面孩子都机械反应了，根本不动脑子。如果真能像宣传那样，通过聊天去追问孩子“你为什么选这个答案”，然后顺着思路给引导，那确实是从“刷题工具”往“思维教练”跨了一大步。但问题恰恰在这——AI再怎么“理解”，它理解的也只是我们定义好的知识点框架，孩子冒出个天马行空的想法，系统是接住它往下

说实话，你提的评估体系重构这点太戳我了。现在大家动不动就刷benchmark，但现实业务里模型犯的错和测试集里根本不是一回事，尤其长尾决策那种，错得毫无逻辑还自信满满。而且成本问题真的无解，光靠堆卡堆数据去追“物理世界交互”，中小厂连门槛都摸不到，总感觉这波AI热度和落地场景之间，还隔着一层窗户纸。

这论文确实点到了关键问题，我之前用LLM模拟迷宫任务也翻车过——明明说好门是锁的，下一步却直接穿过去了。感觉这种状态漂移不是靠调prompt能解决的，根本原因可能是模型缺乏对物理一致性的内建约束。不知道有没有人在评估框架里试过更长的轨迹，比如几百步那种，幻觉累积起来会不会直接崩掉？

确实，Clive Chan这种级别的硬件专家流失，对OpenAI来说比算法大牛出走更致命。芯片团队从零搭建的经验太稀缺了，Anthropic等于直接拿到了优化推理延迟的“作弊码”。我之前调参时就发现，硬件瓶颈往往卡在内存带宽和计算单元协同上，他过去估计能让Anthropic的芯片更贴合实际负载场景。不过好奇的是，OpenAI内部硬件团队的文化是不是出了什么问题，不然核心成员怎么会接连跳槽到对手那边

确实，adaptive sampling在小样本下的统计扭曲问题太容易被忽略了，我在做A/B测试时也踩过类似的坑，样本量一少，p值波动大得离谱。这篇用alpha-spending的思路来补救挺有启发的，但感觉高维场景下怎么控制多重比较还是个硬骨头，不知道作者有没有考虑结合贝叶斯方法？

确实，长上下文实测中推理一致性比窗口大小本身关键多了，Claude 4的分步验证改进让人眼前一亮。