[研报] ProbDreamer：用概率滤波破解世界模型的“平庸幻觉”

TL;DR

在强化学习的“梦境”里，如果所有的未来都被平均化，智能体就会变得平庸甚至瘫痪。本文提出的 ProbDreamer 通过粒子滤波（Particle Filter）技术，让 Dreamer 框架能够同时维护多个互异的未来假设。实验证明，这种方法在处理多模态策略（如捕食者的不同追逐路径）时，比单路径采样更稳健，方差降低了 28%。

背景定位

本文是对经典 Dreamer (v1-v3) 系列的改进工作。它在保持连续 Latent 梯度平滑性的同时，试图解决传统 Gaussian 建模在处理“非此即彼”多模态场景下的缺陷（如：左转或右转，而非撞墙正中间）。

痛点深挖：均值偏差与单路径探索

现有的世界模型（World Models）在“想象”训练时面临两个核心矛盾：

1. 均值陷阱：使用单一高斯分布表示潜在状态时，如果未来有两种互斥的可能，模型会将它们“平均”，产生一个在现实中不可能存在的中间态。
2. 探索局限：标准 Dreamer 每次只从分布中采样一个点进行单线演化，错失了探索潜空间（Latent Space）广度的机会。

核心方法论 (Methodology)

作者引入了三个关键创新：

1. 粒子滤波 (Particle Filter)

不再采样一个 $z_t$，而是维护 $K$ 个相互竞争的粒子集合 $\{h_t^k,z_t^k{\}}_{k=1}^K$。这使得模型在面对捕食者的“拦截”或“追逐”两种截然不同的策略时，能用不同的粒子分别跟踪。

2. 潜在束搜索 (Latent Beam Search)

借鉴 NLP 中的 Beam Search，每个粒子在每一步根据 Policy 扩展出 $N$ 个候选动作分支，从而在潜空间形成一棵演化树。

3. 自由能量剪枝 (Free Energy Pruning)

为了防止计算爆炸，模型使用以下公式对分支进行评分： $F_t^k=V_{\varphi }(h_t^k,z_t^k)+\beta \cdot {\sigma }_{ens}^2$ 此处结合了 Critic 预测的价值 和 Ensemble 产生的不确定性（认识不确定性）。

图 1：ProbDreamer 的核心评分公式，结合了价值预测与不确定性

实验与结果分析

关键战绩

在 MPE SimpleTag 实验中，“Lite”版 ProbDreamer（$K=2$）显著优于基线。

• 性能提升：平均得分提高 4.5%。
• 稳定性：方差大幅下降 28%。

粒子数的“奥卡姆剃刀”

一个有趣的发现是，当 $K=2$ 时表现最好，增加到 $K=8$ 时性能反而崩溃（如下图表所示）。 表 1：不同 K 值与 N 值的性能对比。可见 Full 模式（高 K/N 值）因剪枝策略失败导致性能劣化。

深度分析：作者认为这是因为实验场景中只有两种主要的捕食者策略，过多的粒子反而让模型开始拟合噪声。

局限性与深度洞察

1. 幻觉陷阱：利用学到的 $\hat{V}$（Value Function）进行剪枝在早期是不靠谱的。因为“梦境”中没有观测值校准，智能体会由于 Critic 的噪声而陷入“乐观幻觉”，优先训练那些虚高分数的错误轨迹。
2. 不确定性崩溃：简单的集成（Ensemble）成员很快会趋同。如果没有显式的多样性正则，${\sigma }_{ens}^2$ 这一项很快就会失效。

总结与未来展望

ProbDreamer 证明了在潜空间维护多假设的必要性。虽然“Full”版本的复杂度控制尚存挑战，但这种将 非参数化滤波 与 深度世界模型 结合的方向，是通往更强大“系统 2”推理能力的必经之路。未来的研究应聚焦于如何在没有真实环境反馈的情况下，更精准地评估“梦境”的合理性。