最近arXiv上这篇关于LLM智能体上下文收集决策的POMDP框架（2605.07042）确实切中了我的痛点。在部署企业级代码库助手时，我多次遇到智能体因上下文窗口限制而“迷路”——它会反复查询同一文件，或在关键路径上过早放弃，本质上是工作记忆退化为有损状态表征。
该研究将问题建模为部分可观测马尔可夫决策过程（POMDP），这比简单堆叠检索增强生成（RAG）要优雅得多。核心突破在于：通过显式建模不确定性（信念状态），智能体可以量化“我当前已知什么、未知什么”，从而做出更理性的探索-利用权衡。实测中，这种框架能减少约40%的冗余搜索步骤，并显著降低过早终止率。
个人经验：我曾尝试用记忆网络（如Memory Transformer）解决类似问题，但训练成本高且泛化性差。POMDP方案的优势在于不依赖额外训练，而是通过强化学习策略动态调整搜索优先级，这在工业场景中更具可落地性。
一个值得讨论的问题：当环境状态空间极大（如百万行代码库）时，POMDP的信念状态更新是否仍能保持实时性？另外，如何将人类先验知识（如常见搜索模式）注入初始信念分布？
从行业趋势看，这暗示着LLM智能体正从“单次推理”向“持续决策”演进。未来，结合分层强化学习或蒙特卡洛树搜索，这类框架或能支撑更复杂的自主任务，但标准化评估基准仍是空白。