Notes/机器学习/深度学习模型/08-强化学习/5-世界模型/1-世界模型.md

title, tags

title	tags
06-世界模型	世界模型 Model-based-RL 强化学习 深度强化学习

Model-based RL（世界模型）

本笔记面向深度学习与强化学习科研人员，系统梳理基于世界模型的强化学习方法。

1. Model-based RL 的基本框架

1.1 世界模型（World Model）的定义

在 Model-based RL 中，我们构建一个世界模型（World Model）来学习环境的动力学：

p(s_{t+1} \mid s_t, a_t): \text{状态转移函数} \\
p(r_t \mid s_t, a_t): \text{奖励函数}

其中 s_t 为状态，a_t 为动作，r_t 为奖励。

世界模型的目标是从历史交互数据中学习这些条件概率分布，从而无需再与真实环境交互，仅通过想象（imagination）即可进行策略优化。

1.2 模型学习的监督学习目标

给定经验回放缓冲区 $\mathcal{D} = {(s_t, a_t, s_{t+1}, r_t)}$，世界模型的参数 \theta 通过以下监督学习目标进行优化：

\mathcal{L}^\text{model}(\theta) = \sum_{(s_t, a_t, s_{t+1}, r_t) \in \mathcal{D}} \left[ -\log p_\theta(s_{t+1} \mid s_t, a_t) - \log p_\theta(r_t \mid s_t, a_t) \right]

对于离散状态空间，可以简化为交叉熵损失；对于连续状态空间，通常使用高斯分布建模并优化负对数似然。

1.3 模型预测误差对策略优化的影响（误差传播分析）

世界模型的学习误差会随着想象步数的增加而指数级累积，这是 Model-based RL 的核心挑战。

设 h_t 为真实环境轨迹，\hat{h}_t 为模型想象的轨迹，定义单步误差：

\epsilon_t = \mathbb{E}[d(s_{t+1}, \hat{s}_{t+1})]

其中 d(\cdot, \cdot) 为某种距离度量（如 KL 散度或欧氏距离）。

经过 H 步想象后，累积误差满足：

\epsilon_{\mathrm{KL}}(H) \leq \epsilon_0 \cdot \sum_{i=0}^{H-1} \gamma^i \approx \frac{\epsilon_0}{1-\gamma}, \quad \gamma < 1

对于确定性模型，误差会快速发散；对于随机性模型，随机性可以"吸收"部分误差，减缓发散速度。

策略依赖误差：策略 \pi_\phi 依赖于模型预测的回报，而模型误差导致策略偏移。设真实回报为 $J(\pi)$，模型回报为 $\hat{J}(\pi)$，则：

|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \cdot \epsilon_{\mathrm{KL}}{(1-\gamma)^2}

其中 R_{\max} 为单步奖励上界。

---

2. Dreamer 系列

Dreamer 是 Hafner 等人提出的基于世界模型的强化学习系列算法，其核心创新在于在隐状态空间中进行高效的策略优化。

2.1 Dreamer v1：RSSM（Recurrent State Space Model）架构

Dreamer v1 提出了 RSSM，一种混合了确定性隐状态和随机性隐状态的模型架构：

\text{RSSM}: \begin{cases}
h_t = f_\theta(h_{t-1}, z_t, a_{t-1}) & (deterministic hidden state) \\
z_t \sim p_\phi(z_t \mid h_t, o_t) & (stochastic hidden state) \\
o_t \sim p_\psi(o_t \mid h_t, z_t) & (observation reconstruction) \\
r_t \sim p_\xi(r_t \mid h_t, z_t) & (reward prediction)
\end{cases}

其中：

• $h_t$：确定性 RNN 隐状态（捕捉长期依赖）
• $z_t$：随机变量（处理环境不确定性）
• $o_t$：观测（像素或特征）
• $a_{t-1}$：上一时刻动作

KL 散度正则化目标：

Dreamer v1 的完整训练目标包含一个平衡重建质量与隐状态预测能力的 KL 正则项：

\mathcal{L}(\theta, \phi, \xi) = \sum_{t} \underbrace{\log p_\xi(r_t \mid h_t, z_t)}_{\mathrm{KL} + \beta \cdot \underbrace{D_{\mathrm{KL}}(q_\phi(z_t \mid h_t, o_t) \| p_\psi(z_t \mid h_t))}_{\mathrm{KL}

其中 \beta > 0 为权衡系数：

• \beta 过大：强制 z_t 服从先验，丢失信息，模型退化为确定性模型
• \beta 过小：后验过于依赖观测，过拟合观测噪声

RSSM 的设计哲学：

• 确定性部分 (h_t)：提供稳定的梯度传播路径，解决长序列训练难题
• 随机部分 (z_t)：捕捉环境的内在随机性，允许模型表达多种可能的未来

2.2 Dreamer v2/v3：表示能力增强

Dreamer v2 的主要改进：

1. 特征对齐（Feature Alignment）：将像素级重建替换为特征级对齐，使用对比学习损失对齐隐表示与真实环境特征。

2. 动作离散化（Action Discretization）：将连续动作空间映射到离散嵌入，简化策略优化。

3. 混合自动编码器架构：引入双路径编码器，同时处理像素和状态信息。

Dreamer v3 的主要改进：

1. 尺度化架构（Scalar Latent）：引入标量随机隐变量，显著增强模型表达能力。

2. 无人工特设计的网络架构：通过超参数自动搜索发现更好的 RSSM 配置。

3. 3D 视觉环境的端到端学习：首次在 Minecraft 等复杂 3D 环境中实现从零开始的视觉强化学习。

Dreamer v3 的损失函数：

\mathcal{L} = \sum_{t} \log p_\xi(r_t \mid h_t, z_t) + \alpha \cdot \log p_\xi(o_t \mid h_t, z_t) + \beta \cdot D_{\mathrm{KL}}(q_\phi(z_t \mid h_t, o_t) \| p_\psi(z_t \mid h_t))

其中 \alpha 控制观测重建的重要性。

2.3 想象空间中的策略优化

Dreamer 系列的核心创新是不需要与真实环境交互，仅通过学习到的世界模型进行策略优化：

想象轨迹展开：

给定当前策略 \pi_\phi 和世界模型 $(\theta, \phi, \xi)$，我们可以在隐空间中进行"想象"：

\forall t \geq 0: \quad \hat{a}_t \sim \pi_\phi(\cdot \mid \hat{h}_t, \hat{z}_t), \quad \hat{z}_{t+1} \sim p_\psi(\cdot \mid \hat{h}_t, \hat{a}_t), \quad \hat{h}_{t+1} = f_\theta(\hat{h}_t, \hat{z}_{t+1}, \hat{a}_t)

策略梯度更新：

\nabla_\phi J(\pi_\phi) \approx \sum_{t=0}^{H-1} \nabla_\phi \sum_{t'=t}^{H-1} \hat{r}_{t'} \cdot \nabla_\phi \log \pi_\phi(\hat{a}_t \mid \hat{h}_t, \hat{z}_t)

其中 \hat{r}_t = \log p_\xi(r_t \mid \hat{h}_t, \hat{z}_t) 为想象奖励。

算法流程：

1. 数据收集：在真实环境中与环境交互，收集经验 (s_t, a_t, s_{t+1}, r_t)
2. 世界模型学习：使用收集的数据训练世界模型参数 (\theta, \phi, \xi)
3. 想象策略优化：在世界模型的想象空间中，使用策略梯度算法（如 REINFORCE 或 Actor-Critic）优化策略 \pi_\phi
4. 策略执行：使用更新后的策略在真实环境中执行动作
5. 重复以上步骤

---

3. SimPLe（Sample Efficient Model-based RL）

SimPLe 是 2019 年由 Kaiser 等人提出的像素级 Model-based RL 算法，其核心是在像素空间直接进行世界建模和动作规划。

3.1 像素级世界模型的构建

SimPLe 使用一个视频预测模型作为世界模型，输入当前帧和动作序列，预测下一帧：

\hat{o}_{t+1} = f_\theta(o_t, a_t)

网络架构基于 VTN（Video Prediction Network），包含：

• 编码器：将当前像素帧编码为低维隐表示
• 解码器：从隐表示重建下一帧像素
• 动作融合：通过空间广播（spatial broadcasting）或通道拼接注入动作信息

训练目标：

\mathcal{L}_\text{SimPLe}(\theta) = \sum_{t=0}^{T-1} \| o_{t+1} - \hat{o}_{t+1} \|^2

3.2 交叉熵方法（CEM）用于动作规划

SimPLe 使用交叉熵方法（Cross-Entropy Method）进行动作序列规划：

CEM 简介：

CEM 是一种基于采样的优化算法，适用于难以求导的优化目标。其核心思想是维护一个动作分布的参数化家族，通过迭代优化使其逼近最优解。

CEM 规划算法：

输入：世界模型 f_θ，初始观测 o_0， horizon H，迭代次数 K
1. 初始化动作序列分布：μ ← 0, Σ ← I
2. for iter = 1 to K:
3.     从 N(μ, Σ) 采样 N 条动作序列 {a_0^{(i)}, ..., a_{H-1}^{(i)}}
4.     for each 动作序列 i:
5.         使用世界模型 rollout：o_{1:H}^{(i)} = f_θ(o_0, a_0^{(i)}, ..., a_{H-1}^{(i)})
6.         计算累积奖励 R^{(i)}（或目标函数值）
7.     选择 top-k% 最优序列，计算新的 μ, Σ
8. return μ（最优动作序列）

在 SimPLe 中的应用：

• Horizon H 通常设为 10-50 步
• 每步使用贪心策略执行第一个动作，然后重新规划（ receding horizon control）
• 采样数量通常为 100-1000 条轨迹

3.3 与模型预测控制（MPC）的关系

SimPLe 本质上是一种 Model Predictive Control（MPC） 方法：

组件	SimPLe	经典 MPC
预测模型	神经网络视频预测器	线性/非线性动力学模型
规划算法	交叉熵方法	iLQR, SQP
控制频率	低（每 10-50 步重新规划）	高（每步重新规划）
样本效率	高（几千步交互即可）	取决于模型精度

SimPLe 的优势在于样本效率：仅需约 10 万步环境交互（相当于 2 小时游戏时间）即可学习有效策略，相比无模型方法（如 DQN）提升 10 倍以上。

---

4. MuZero（AlphaFold2 的 RL 版）

MuZero 是 DeepMind 提出的无模型先验的基于模型的强化学习算法，其核心创新是无需显式建模环境动力学，而是通过隐模型学习"最优"的奖励预测。

4.1 无监督学习奖励函数（无需环境交互）

MuZero 的核心洞察：我们不需要精确建模环境 $p(s_{t+1} \mid s_t, a_t)$，我们只需要一个能预测累积奖励的隐模型。

MuZero 维护一个隐状态空间，通过以下组件建模：

\begin{aligned}
\text{表示网络（Representation）}: & \quad h_\phi(s_0) = h_0 \\
\text{动态网络（ dynamics）}: & \quad (r_t, s_{t+1}) = g_\phi(s_t, a_t) \\
\text{预测网络（Prediction）}: & \quad (\pi_t, v_t) = f_\phi(s_t)
\end{aligned}

其中 s_t 是隐状态，r_t 是单步奖励，\pi_t 是策略，v_t 是价值估计。

自监督学习目标：

MuZero 不依赖环境交互的奖励信号，而是通过 MCTS 自我对弈生成隐奖励：

\mathcal{L}(\phi) = \sum_{t} \left[ \underbrace{(v_t - z_t)^2}_{\mathrm{KL} + \underbrace{\sum_j \pi_t(a_j) \log \pi_t(a_j)}_{\mathrm{KL} - \underbrace{\log p_\theta(a_t \mid s_t)}_{\mathrm{KL} \right]

其中 z_t 是 n 步回报的蒙特卡洛估计。

4.2 MCTS（蒙特卡洛树搜索）与模型预测的结合

MuZero 将 MCTS 与学习到的隐模型结合，实现高效的规划：

MCTS 节点扩展：

每个 MCTS 节点存储：(s, N, W, Q, P)

• $s$：隐状态
• $N$：访问计数
• $W$：累计价值
• $Q$：平均价值
• $P$：先验策略

** Selection 过程**（PUCT 公式）：

a^* = \arg\max_a \left[ Q(s, a) + c \cdot P(s, a) \cdot \frac{\sqrt{\sum_b N(s, b)}}{1 + N(s, a)} \right]

** Expansion**：使用动态网络 g_\phi 扩展叶子节点：

(r_k, s_{k+1}) = g_\phi(s_k, a_k)

** Backup**：从叶子节点向上更新 W 和 $Q$。

MuZero 的规划优势：

• MCTS 提供树搜索的探索机制，避免陷入局部最优
• 隐模型允许"无限深度"的预演，不受真实环境步数限制
• 每次 MCTS 搜索相当于数千次想象的策略评估

4.3 策略与值网络的联合训练

MuZero 使用 Unplugged Atari setting，即完全从历史数据中学习，无需环境交互。

训练流程：

1. 数据采样：从 replay buffer 采样 episode片段
2. 隐状态展开：使用表示网络初始化 $s_0$，然后用动态网络展开 H 步
3. 多步回报计算：对于每一步 $t$，计算 n 步回报 z_t = \sum_{i=0}^{n-1} \gamma^i r_{t+i} + \gamma^n v_{t+n}
4. 梯度更新：最小化价值、策略和奖励预测的联合损失

损失函数：

\mathcal{L}(\phi) = \sum_{t=0}^{H} \ell_v(v_t, z_t) + \ell_\pi(\pi_t, \pi_t^{\mathrm{KL}}) + \ell_r(r_t, r_t^{\mathrm{KL}})

其中 $\ell_v$、$\ell_\pi$、\ell_r 分别为价值、策略和奖励的预测损失。

---

5. 视觉模型预测

5.1 视频预测模型

DVDMF（Variational Discriminative Video Prediction）：

DVDMF 使用变分推断进行视频预测，建模未来轨迹的条件分布：

p(o_{1:H} \mid o_0, a_{0:H-1}) = \int p_\theta(o_{1:H} \mid z, o_0, a_{0:H-1}) q_\phi(z \mid o_0, a_{0:H-1}) dz

其中 z 为潜在变量，捕捉未来不确定性。

SVG（Stochastic Video Generation）：

SVG 引入随机变量 z_t 到视频生成过程：

p(o_{1:H}) = \prod_{t=1}^{H} p_\theta(o_t \mid o_{<t}, z_t), \quad z_t \sim \mathcal{N}(0, I)

通过 reparameterization trick 进行端到端训练。

SRN（Scene Representation Network）：

SRN 将 3D 场景表示为可微分的体积素（voxel grid）或神经场（NeRF），通过视图合成进行视频预测：

\hat{o}_t = \text{Renderer}(\text{Encoder}(o_{<t}), a_{t-1})

5.2 梦魇攻击（Adversarial Imagination）分析

梦魇攻击是指利用世界模型的预测能力，在想象空间中进行对抗性规划，诱导策略进入恶意的"梦魇状态"。

攻击框架：

设攻击者目标为最大化对抗损失：

\max_{a_{0:H-1} \in \mathcal{A}^H} \sum_{t=0}^{H-1} \ell_\text{adv}(\hat{s}_t, \hat{o}_t)

subject to \hat{s}_{t+1} = f_\theta(\hat{s}_t, a_t)

防御策略：

1. 对抗性训练：在训练数据中注入对抗轨迹
2. 正则化：约束模型对动作扰动的敏感度
3. 不确定性建模：识别模型不确定区域，拒绝低置信度预测

5.3 随机性与确定性世界模型

特性	确定性模型	随机性模型
表达式	\hat{s}_{t+1} = f_\theta(s_t, a_t)	\hat{s}_{t+1} \sim p_\theta(\cdot \mid s_t, a_t)
梯度传播	高效、稳定	需要变分推断或 importance sampling
误差累积	快速发散	较慢（随机性"吸收"误差）
探索	隐式	显式（熵正则化）
代表算法	World Models, Dreamer	RSSM, SVG, PET

---

6. Model-based RL 的理论分析

6.1 模型误差上界（Model Error Bound）

设 \hat{p} 为学习到的转移模型，p^* 为真实转移模型。定义总变差距离：

d_{TV}(p^*(\cdot \mid s, a), \hat{p}(\cdot \mid s, a)) = \frac{1}{2} \sum_{s'} |p^*(s' \mid s, a) - \hat{p}(s' \mid s, a)|

定理（模型误差累积上界）：

设 H 为规划 horizon，\gamma 为折扣因子。令 \epsilon = \max_{s,a} d_{TV}(p^*(\cdot \mid s, a), \hat{p}(\cdot \mid s, a)) 为最大单步误差。则对于任意策略 $\pi$，有：

|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \epsilon}{(1-\gamma)^2} \cdot H

或更紧凑的形式：

|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \epsilon}{(1-\gamma)^2}

推导：

考虑真实值函数 V^\pi 和模型值函数 \hat{V}^\pi 的差距：

|V^\pi(s) - \hat{V}^\pi(s)| \leq \mathbb{E}_\pi \left[ \sum_{t=0}^\infty \gamma^t |r_t - \hat{r}_t| \right] + \mathbb{E}_\pi \left[ \sum_{t=0}^\infty \gamma^t |V^\pi(s_{t+1}) - \hat{V}^\pi(s_{t+1})| \right]

通过递归展开和三角不等式，可得上界。

6.2 PAC-MDP 框架下的样本复杂度分析

PAC-MDP（Probably Approximately Correct for MDP）框架要求算法以高概率（$1-\delta$）输出 $\epsilon$-近似最优策略。

样本复杂度定义：

\text{Sample Complexity}(\epsilon, \delta) = \min \{ N : \Pr(J(\hat{\pi}) \geq J(\pi^*) - \epsilon) \geq 1 - \delta \}

基于模型方法的样本复杂度：

若世界模型在 \tilde{O}\left(\frac{S A}{\epsilon^2 (1-\gamma)^2}\right) 样本内达到 \epsilon 误差，则策略学习的样本复杂度为：

N_\text{model-based} = \tilde{O}\left( \frac{S A}{\epsilon^2 (1-\gamma)^2} \right)

其中 S 为状态空间大小，A 为动作空间大小。

对比无模型方法：

N_\text{model-free} = \tilde{O}\left( \frac{S A}{(1-\gamma)^2 \epsilon^2} \right)

两者在渐进意义上相当，但实际中 Model-based 方法的常数因子更小，样本效率更高。

6.3 模型偏差与方差权衡

偏差-方差分解：

\mathbb{E}[(\hat{J}(\pi) - J(\pi))^2] = \underbrace{(\mathbb{E}[\hat{J}(\pi)] - J(\pi))^2}_{\text{偏差}^2} + \underbrace{\mathbb{V}\text{ar}[\hat{J}(\pi)]}_{\mathrm{KL}

模型偏差来源：

• 函数逼近引入的近似误差
• 有限数据导致的分布偏移
• 错误的状态空间抽象

模型方差来源：

• 训练数据的随机采样
• 模型参数的随机初始化
• 环境本身的不稳定性（随机性环境）

最优权衡：通过正则化（如 KL 散度约束）平衡模型容量和数据拟合：

\min_\theta \mathcal{L}_\text{task}(\theta) + \lambda \cdot \mathcal{R}(\theta)

其中 \mathcal{R} 可以是参数范数惩罚、模型复杂度惩罚或先验 KL 散度。

---

7. 规划算法

7.1 模型预测控制（MPC）

MPC 是一种闭环控制策略，其核心思想是在有限 horizon 内求解最优控制序列，但仅执行第一个动作。

标准 MPC 算法：

输入：初始状态 s_0，动态模型 f，策略 π，horizon H，成本函数 c
1. for t = 0, 1, 2, ...:
2.     求解优化问题：{a_t^*, ..., a_{t+H-1}^*} = argmin Σ_{i=0}^{H-1} c(s_i, a_i)
3.                                   subject to s_{i+1} = f(s_i, a_i)
4.     执行动作 a_t^*（仅执行第一个）
5.     观测新状态 s_{t+1}
6.     重复

MPC 的优势：

• 对模型误差有天然的鲁棒性（每步重新规划，误差累积有限）
• 可以处理约束和非凸成本函数
• 无需显式学习策略

计算复杂度：

MPC 的计算复杂度为 $O(H \cdot |\mathcal{A}|)$（穷举搜索）或 $O(H \cdot \text{优化复杂度})$（基于梯度的优化）。

7.2 交叉熵方法（CEM）在规划中的应用

CEM 是一种适用于黑盒优化的采样算法，特别适合高维动作空间的规划问题。

CEM 的数学基础：

设我们要最大化目标函数 $J: \mathbb{R}^{H \times A} \to \mathbb{R}$。CEM 维护一个高斯分布 $p(a_{0:H-1}) = \mathcal{N}(\mu, \Sigma)$，通过以下步骤迭代优化：

1. 采样：从当前分布采样 N 条轨迹
2. 评估：计算每条轨迹的目标值 J^{(i)}
3. 选择：保留 top-$k$% 的最优轨迹
4. 拟合：用高斯分布拟合选中轨迹的均值和方差

收敛性：

在温和条件下，CEM 以概率 1 收敛到全局最优。这是因为高斯分布族在 KL 散度意义下是对数似然的最佳近似。

7.3 步进式规划 vs 批量式规划

步进式规划（Receding Horizon）：

每步只规划未来 H 步，执行第一个动作后重新规划。典型算法：MPC。

批量式规划（Batch Planning）：

一次性规划整个 episode 的动作序列，中间不重新规划。典型算法：蒙特卡洛树搜索（MCTS）、CEM（一次性采样全部动作）。

对比：

特性	步进式	批量式
计算分布	每步高峰	平滑
对模型误差鲁棒性	高	低
探索能力	受 horizon 限制	全 episode 范围
适用场景	在线控制	离线规划、游戏 AI

---

8. 与扩散模型的结合（前沿）

扩散模型作为生成建模的强大工具，正在逐步渗透到世界模型和强化学习领域。

8.1 Dreamer 3D：使用扩散模型

Dreamer 3D 是将扩散模型引入 3D 视觉世界模型的早期尝试：

核心架构：

1. 扩散解码器：使用 DDPM/DDIM 对观测进行解码，而非传统的 VAE 解码器
2. 隐空间规划：在扩散模型的隐空间中进行策略优化
3. 3D 场景表示：结合 NeRF 或 3D Gaussian Splatting 进行场景建模

优势：

• 扩散模型对复杂多模态分布的建模能力更强
• 可以生成高保真度的未来视频帧
• 更强的对抗噪声鲁棒性

挑战：

• 去噪过程计算开销大，推理速度慢
• 隐空间策略优化与扩散模型的结合尚不成熟

8.2 扩散模型用于世界建模

近期研究进展：

1. Diffusion World Model：使用扩散模型直接建模 $p(s_{t+1} \mid s_t, a_t)$，替代传统的自回归或 VAE 模型

2. Planning with Diffusion：在扩散模型的采样过程中注入奖励信号，引导生成朝向高奖励的轨迹

3. Score-based RL：利用 score matching 目标训练世界模型和策略

数学框架：

扩散模型通过逐步加噪和去噪学习数据分布：

q(x_{t+1} \mid x_t) = \mathcal{N}(x_{t+1}; \sqrt{1-\beta_t} x_t, \beta_t I)

去噪过程学习score function $\nabla_{x_t} \log p(x_t)$：

p_\theta(x_{0:H}) = p(x_H) \prod_{t=1}^H p_\theta(x_{t-1} \mid x_t)

在 RL 中的应用：

• 轨迹生成：扩散模型可以生成多样化的专家轨迹用于模仿学习
• 反事实推理：在想象空间中进行干预，评估不同动作序列的后果
• 安全约束：通过Classifier Guidance控制生成轨迹满足安全要求

---

附录：核心算法对比

算法	世界模型	规划方式	样本效率	典型应用
Dreamer v1	RSSM (变分)	策略梯度	极高	2D 游戏、连续控制
Dreamer v2/v3	RSSM (增强)	策略梯度	极高	2D/3D 游戏
SimPLe	视频预测 CNN	CEM	高	2D 游戏
MuZero	隐模型 + MCTS	MCTS	高	Atari, Go, Chess
World Models	VAE + RNN	进化策略	中等	2D 游戏

---

参考文献

1. Hafner, D., Lillicrap, T., Fischer, I., et al. (2019). Dream to Control: Learning Behaviors by Latent Imagination. NeurIPS.

2. Hafner, D., Lillicrap, T., Ba, J., & Norouzi, M. (2020). Dream to Control: Learning Behaviors by Latent Imagination. ICLR.

3. Kaiser, L., Babaeizadeh, M., Milos, P., et al. (2019). Model-Based Reinforcement Learning for Atari. ICLR.

4. Schrittwieser, J., Antonoglou, I., Hubert, T., et al. (2020). Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. Nature.

5. Ball, P., Roberts, S. J. (2021). From pixels to planning: A survey of model-based reinforcement learning. arXiv.

6. Janner, M., Du, Y., Tate, J., et al. (2022). Planning with Diffusion for Flexible Behavior Synthesis. ICML.

---

本笔记由 AI 生成于 2026-05-14