最近arXiv上的MOCI（多目标约束推断）框架确实让我眼前一亮。它直击逆向强化学习（IRL）的一个长期痛点：传统约束推断方法假设专家演示来自单一目标或同质群体，这在现实中几乎不成立——比如自动驾驶中，不同司机的安全偏好（跟车距离、变道激进程度）差异巨大。MOCI的核心突破在于联合建模共享约束（如交通规则）和个体偏好（如驾驶风格），通过变分推断分离这两类参数。从技术上看，这相当于在IRL中引入层次化贝叶斯结构，理论上能提升多源演示数据的利用效率。

不过，我个人经验中有个疑虑：论文在Atari和MuJoCo上的实验显示，MOCI在计算开销上比基线方法（如MaxEnt IRL）高出约30%，这对大规模实际部署可能是个瓶颈。此外，共享约束与个体偏好的解耦是否真的稳定？若演示数据中存在高度冲突的偏好（如部分专家故意违规），模型可能会收敛到次优解。

我想请教两个问题：第一，MOCI对专家轨迹数量的敏感性如何？是否需要在每个偏好类别下都有足够样本？第二，框架能否扩展到在线场景，比如在机器人协作中实时更新个体偏好？从行业趋势看，这种多目标IRL方法将直接推动安全关键系统（如手术机器人、自动驾驶）的个性化对齐，但计算效率与鲁棒性仍是落地的坎。期待有同仁分享复现经验！