---
title: 06-世界模型
tags:
  - 世界模型
  - Model-based-RL
  - 强化学习
  - 深度强化学习
---

# Model-based RL（世界模型）

> 本笔记面向深度学习与强化学习科研人员，系统梳理基于世界模型的强化学习方法。

## 1. Model-based RL 的基本框架

### 1.1 世界模型（World Model）的定义

在 Model-based RL 中，我们构建一个**世界模型**（World Model）来学习环境的动力学：

$$
p(s_{t+1} \mid s_t, a_t): \text{状态转移函数} \\
p(r_t \mid s_t, a_t): \text{奖励函数}
$$

其中 $s_t$ 为状态，$a_t$ 为动作，$r_t$ 为奖励。

世界模型的目标是**从历史交互数据中学习这些条件概率分布**，从而无需再与真实环境交互，仅通过想象（imagination）即可进行策略优化。

### 1.2 模型学习的监督学习目标

给定经验回放缓冲区 $\mathcal{D} = \{(s_t, a_t, s_{t+1}, r_t)\}$，世界模型的参数 $\theta$ 通过以下监督学习目标进行优化：

$$
\mathcal{L}^\text{model}(\theta) = \sum_{(s_t, a_t, s_{t+1}, r_t) \in \mathcal{D}} \left[ -\log p_\theta(s_{t+1} \mid s_t, a_t) - \log p_\theta(r_t \mid s_t, a_t) \right]
$$

对于离散状态空间，可以简化为交叉熵损失；对于连续状态空间，通常使用高斯分布建模并优化负对数似然。

### 1.3 模型预测误差对策略优化的影响（误差传播分析）

世界模型的学习误差会随着想象步数的增加而**指数级累积**，这是 Model-based RL 的核心挑战。

设 $h_t$ 为真实环境轨迹，$\hat{h}_t$ 为模型想象的轨迹，定义单步误差：

$$
\epsilon_t = \mathbb{E}[d(s_{t+1}, \hat{s}_{t+1})]
$$

其中 $d(\cdot, \cdot)$ 为某种距离度量（如 KL 散度或欧氏距离）。

经过 $H$ 步想象后，累积误差满足：

$$
\epsilon_{\mathrm{KL}}(H) \leq \epsilon_0 \cdot \sum_{i=0}^{H-1} \gamma^i \approx \frac{\epsilon_0}{1-\gamma}, \quad \gamma < 1
$$

对于确定性模型，误差会快速发散；对于随机性模型，随机性可以"吸收"部分误差，减缓发散速度。

**策略依赖误差**：策略 $\pi_\phi$ 依赖于模型预测的回报，而模型误差导致策略偏移。设真实回报为 $J(\pi)$，模型回报为 $\hat{J}(\pi)$，则：

$$
|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \cdot \epsilon_{\mathrm{KL}}{(1-\gamma)^2}
$$

其中 $R_{\max}$ 为单步奖励上界。

---

## 2. Dreamer 系列

Dreamer 是 Hafner 等人提出的基于世界模型的强化学习系列算法，其核心创新在于**在隐状态空间中进行高效的策略优化**。

### 2.1 Dreamer v1：RSSM（Recurrent State Space Model）架构

Dreamer v1 提出了 **RSSM**，一种混合了确定性隐状态和随机性隐状态的模型架构：

$$
\text{RSSM}: \begin{cases}
h_t = f_\theta(h_{t-1}, z_t, a_{t-1}) & (deterministic hidden state) \\
z_t \sim p_\phi(z_t \mid h_t, o_t) & (stochastic hidden state) \\
o_t \sim p_\psi(o_t \mid h_t, z_t) & (observation reconstruction) \\
r_t \sim p_\xi(r_t \mid h_t, z_t) & (reward prediction)
\end{cases}
$$

其中：
- $h_t$：确定性 RNN 隐状态（捕捉长期依赖）
- $z_t$：随机变量（处理环境不确定性）
- $o_t$：观测（像素或特征）
- $a_{t-1}$：上一时刻动作

**KL 散度正则化目标**：

Dreamer v1 的完整训练目标包含一个平衡重建质量与隐状态预测能力的 KL 正则项：

$$
\mathcal{L}(\theta, \phi, \xi) = \sum_{t} \underbrace{\log p_\xi(r_t \mid h_t, z_t)}_{\mathrm{KL} + \beta \cdot \underbrace{D_{\mathrm{KL}}(q_\phi(z_t \mid h_t, o_t) \| p_\psi(z_t \mid h_t))}_{\mathrm{KL}
$$

其中 $\beta > 0$ 为权衡系数：
- $\beta$ 过大：强制 $z_t$ 服从先验，丢失信息，模型退化为确定性模型
- $\beta$ 过小：后验过于依赖观测，过拟合观测噪声

**RSSM 的设计哲学**：
- **确定性部分** ($h_t$)：提供稳定的梯度传播路径，解决长序列训练难题
- **随机部分** ($z_t$)：捕捉环境的内在随机性，允许模型表达多种可能的未来

### 2.2 Dreamer v2/v3：表示能力增强

**Dreamer v2** 的主要改进：

1. **特征对齐（Feature Alignment）**：将像素级重建替换为特征级对齐，使用对比学习损失对齐隐表示与真实环境特征。

2. **动作离散化（Action Discretization）**：将连续动作空间映射到离散嵌入，简化策略优化。

3. **混合自动编码器架构**：引入双路径编码器，同时处理像素和状态信息。

**Dreamer v3** 的主要改进：

1. **尺度化架构（Scalar Latent）**：引入标量随机隐变量，显著增强模型表达能力。

2. **无人工特设计的网络架构**：通过超参数自动搜索发现更好的 RSSM 配置。

3. **3D 视觉环境的端到端学习**：首次在 Minecraft 等复杂 3D 环境中实现从零开始的视觉强化学习。

**Dreamer v3 的损失函数**：

$$
\mathcal{L} = \sum_{t} \log p_\xi(r_t \mid h_t, z_t) + \alpha \cdot \log p_\xi(o_t \mid h_t, z_t) + \beta \cdot D_{\mathrm{KL}}(q_\phi(z_t \mid h_t, o_t) \| p_\psi(z_t \mid h_t))
$$

其中 $\alpha$ 控制观测重建的重要性。

### 2.3 想象空间中的策略优化

Dreamer 系列的核心创新是**不需要与真实环境交互**，仅通过学习到的世界模型进行策略优化：

**想象轨迹展开**：

给定当前策略 $\pi_\phi$ 和世界模型 $(\theta, \phi, \xi)$，我们可以在隐空间中进行"想象"：

$$
\forall t \geq 0: \quad \hat{a}_t \sim \pi_\phi(\cdot \mid \hat{h}_t, \hat{z}_t), \quad \hat{z}_{t+1} \sim p_\psi(\cdot \mid \hat{h}_t, \hat{a}_t), \quad \hat{h}_{t+1} = f_\theta(\hat{h}_t, \hat{z}_{t+1}, \hat{a}_t)
$$

**策略梯度更新**：

$$
\nabla_\phi J(\pi_\phi) \approx \sum_{t=0}^{H-1} \nabla_\phi \sum_{t'=t}^{H-1} \hat{r}_{t'} \cdot \nabla_\phi \log \pi_\phi(\hat{a}_t \mid \hat{h}_t, \hat{z}_t)
$$

其中 $\hat{r}_t = \log p_\xi(r_t \mid \hat{h}_t, \hat{z}_t)$ 为想象奖励。

**算法流程**：

1. **数据收集**：在真实环境中与环境交互，收集经验 $(s_t, a_t, s_{t+1}, r_t)$
2. **世界模型学习**：使用收集的数据训练世界模型参数 $(\theta, \phi, \xi)$
3. **想象策略优化**：在世界模型的想象空间中，使用策略梯度算法（如 REINFORCE 或 Actor-Critic）优化策略 $\pi_\phi$
4. **策略执行**：使用更新后的策略在真实环境中执行动作
5. 重复以上步骤

---

## 3. SimPLe（Sample Efficient Model-based RL）

SimPLe 是 2019 年由 Kaiser 等人提出的像素级 Model-based RL 算法，其核心是在**像素空间**直接进行世界建模和动作规划。

### 3.1 像素级世界模型的构建

SimPLe 使用一个**视频预测模型**作为世界模型，输入当前帧和动作序列，预测下一帧：

$$
\hat{o}_{t+1} = f_\theta(o_t, a_t)
$$

网络架构基于 VTN（Video Prediction Network），包含：
- **编码器**：将当前像素帧编码为低维隐表示
- **解码器**：从隐表示重建下一帧像素
- **动作融合**：通过空间广播（spatial broadcasting）或通道拼接注入动作信息

**训练目标**：

$$
\mathcal{L}_\text{SimPLe}(\theta) = \sum_{t=0}^{T-1} \| o_{t+1} - \hat{o}_{t+1} \|^2
$$

### 3.2 交叉熵方法（CEM）用于动作规划

SimPLe 使用**交叉熵方法**（Cross-Entropy Method）进行动作序列规划：

**CEM 简介**：

CEM 是一种基于采样的优化算法，适用于难以求导的优化目标。其核心思想是维护一个动作分布的参数化家族，通过迭代优化使其逼近最优解。

**CEM 规划算法**：

```
输入：世界模型 f_θ，初始观测 o_0， horizon H，迭代次数 K
1. 初始化动作序列分布：μ ← 0, Σ ← I
2. for iter = 1 to K:
3.     从 N(μ, Σ) 采样 N 条动作序列 {a_0^{(i)}, ..., a_{H-1}^{(i)}}
4.     for each 动作序列 i:
5.         使用世界模型 rollout：o_{1:H}^{(i)} = f_θ(o_0, a_0^{(i)}, ..., a_{H-1}^{(i)})
6.         计算累积奖励 R^{(i)}（或目标函数值）
7.     选择 top-k% 最优序列，计算新的 μ, Σ
8. return μ（最优动作序列）
```

**在 SimPLe 中的应用**：

- Horizon $H$ 通常设为 10-50 步
- 每步使用贪心策略执行第一个动作，然后重新规划（ receding horizon control）
- 采样数量通常为 100-1000 条轨迹

### 3.3 与模型预测控制（MPC）的关系

SimPLe 本质上是一种 **Model Predictive Control（MPC）** 方法：

| 组件 | SimPLe | 经典 MPC |
|------|--------|----------|
| 预测模型 | 神经网络视频预测器 | 线性/非线性动力学模型 |
| 规划算法 | 交叉熵方法 | iLQR, SQP |
| 控制频率 | 低（每 10-50 步重新规划） | 高（每步重新规划） |
| 样本效率 | 高（几千步交互即可） | 取决于模型精度 |

SimPLe 的优势在于**样本效率**：仅需约 10 万步环境交互（相当于 2 小时游戏时间）即可学习有效策略，相比无模型方法（如 DQN）提升 10 倍以上。

---

## 4. MuZero（AlphaFold2 的 RL 版）

MuZero 是 DeepMind 提出的无模型先验的基于模型的强化学习算法，其核心创新是**无需显式建模环境动力学**，而是通过隐模型学习"最优"的奖励预测。

### 4.1 无监督学习奖励函数（无需环境交互）

MuZero 的核心洞察：**我们不需要精确建模环境 $p(s_{t+1} \mid s_t, a_t)$，我们只需要一个能预测累积奖励的隐模型**。

MuZero 维护一个**隐状态空间**，通过以下组件建模：

$$
\begin{aligned}
\text{表示网络（Representation）}: & \quad h_\phi(s_0) = h_0 \\
\text{动态网络（ dynamics）}: & \quad (r_t, s_{t+1}) = g_\phi(s_t, a_t) \\
\text{预测网络（Prediction）}: & \quad (\pi_t, v_t) = f_\phi(s_t)
\end{aligned}
$$

其中 $s_t$ 是隐状态，$r_t$ 是单步奖励，$\pi_t$ 是策略，$v_t$ 是价值估计。

**自监督学习目标**：

MuZero 不依赖环境交互的奖励信号，而是通过 MCTS 自我对弈生成隐奖励：

$$
\mathcal{L}(\phi) = \sum_{t} \left[ \underbrace{(v_t - z_t)^2}_{\mathrm{KL} + \underbrace{\sum_j \pi_t(a_j) \log \pi_t(a_j)}_{\mathrm{KL} - \underbrace{\log p_\theta(a_t \mid s_t)}_{\mathrm{KL} \right]
$$

其中 $z_t$ 是 n 步回报的蒙特卡洛估计。

### 4.2 MCTS（蒙特卡洛树搜索）与模型预测的结合

MuZero 将 MCTS 与学习到的隐模型结合，实现高效的规划：

**MCTS 节点扩展**：

每个 MCTS 节点存储：$(s, N, W, Q, P)$
- $s$：隐状态
- $N$：访问计数
- $W$：累计价值
- $Q$：平均价值
- $P$：先验策略

** Selection 过程**（PUCT 公式）：

$$
a^* = \arg\max_a \left[ Q(s, a) + c \cdot P(s, a) \cdot \frac{\sqrt{\sum_b N(s, b)}}{1 + N(s, a)} \right]
$$

** Expansion**：使用动态网络 $g_\phi$ 扩展叶子节点：

$$
(r_k, s_{k+1}) = g_\phi(s_k, a_k)
$$

** Backup**：从叶子节点向上更新 $W$ 和 $Q$。

**MuZero 的规划优势**：

- MCTS 提供树搜索的探索机制，避免陷入局部最优
- 隐模型允许"无限深度"的预演，不受真实环境步数限制
- 每次 MCTS 搜索相当于数千次想象的策略评估

### 4.3 策略与值网络的联合训练

MuZero 使用 **Unplugged Atari** setting，即完全从历史数据中学习，无需环境交互。

**训练流程**：

1. **数据采样**：从 replay buffer 采样 episode片段
2. **隐状态展开**：使用表示网络初始化 $s_0$，然后用动态网络展开 $H$ 步
3. **多步回报计算**：对于每一步 $t$，计算 n 步回报 $z_t = \sum_{i=0}^{n-1} \gamma^i r_{t+i} + \gamma^n v_{t+n}$
4. **梯度更新**：最小化价值、策略和奖励预测的联合损失

**损失函数**：

$$
\mathcal{L}(\phi) = \sum_{t=0}^{H} \ell_v(v_t, z_t) + \ell_\pi(\pi_t, \pi_t^{\mathrm{KL}}) + \ell_r(r_t, r_t^{\mathrm{KL}})
$$

其中 $\ell_v$、$\ell_\pi$、$\ell_r$ 分别为价值、策略和奖励的预测损失。

---

## 5. 视觉模型预测

### 5.1 视频预测模型

**DVDMF（Variational Discriminative Video Prediction）**：

DVDMF 使用变分推断进行视频预测，建模未来轨迹的条件分布：

$$
p(o_{1:H} \mid o_0, a_{0:H-1}) = \int p_\theta(o_{1:H} \mid z, o_0, a_{0:H-1}) q_\phi(z \mid o_0, a_{0:H-1}) dz
$$

其中 $z$ 为潜在变量，捕捉未来不确定性。

**SVG（Stochastic Video Generation）**：

SVG 引入随机变量 $z_t$ 到视频生成过程：

$$
p(o_{1:H}) = \prod_{t=1}^{H} p_\theta(o_t \mid o_{<t}, z_t), \quad z_t \sim \mathcal{N}(0, I)
$$

通过 reparameterization trick 进行端到端训练。

**SRN（Scene Representation Network）**：

SRN 将 3D 场景表示为可微分的体积素（voxel grid）或神经场（NeRF），通过视图合成进行视频预测：

$$
\hat{o}_t = \text{Renderer}(\text{Encoder}(o_{<t}), a_{t-1})
$$

### 5.2 梦魇攻击（Adversarial Imagination）分析

梦魇攻击是指利用世界模型的预测能力，在想象空间中进行对抗性规划，诱导策略进入恶意的"梦魇状态"。

**攻击框架**：

设攻击者目标为最大化对抗损失：

$$
\max_{a_{0:H-1} \in \mathcal{A}^H} \sum_{t=0}^{H-1} \ell_\text{adv}(\hat{s}_t, \hat{o}_t)
$$

subject to $\hat{s}_{t+1} = f_\theta(\hat{s}_t, a_t)$

**防御策略**：

1. **对抗性训练**：在训练数据中注入对抗轨迹
2. **正则化**：约束模型对动作扰动的敏感度
3. **不确定性建模**：识别模型不确定区域，拒绝低置信度预测

### 5.3 随机性与确定性世界模型

| 特性 | 确定性模型 | 随机性模型 |
|------|-----------|-----------|
| 表达式 | $\hat{s}_{t+1} = f_\theta(s_t, a_t)$ | $\hat{s}_{t+1} \sim p_\theta(\cdot \mid s_t, a_t)$ |
| 梯度传播 | 高效、稳定 | 需要变分推断或 importance sampling |
| 误差累积 | 快速发散 | 较慢（随机性"吸收"误差） |
| 探索 | 隐式 | 显式（熵正则化） |
| 代表算法 | World Models, Dreamer | RSSM, SVG, PET |

---

## 6. Model-based RL 的理论分析

### 6.1 模型误差上界（Model Error Bound）

设 $\hat{p}$ 为学习到的转移模型，$p^*$ 为真实转移模型。定义总变差距离：

$$
d_{TV}(p^*(\cdot \mid s, a), \hat{p}(\cdot \mid s, a)) = \frac{1}{2} \sum_{s'} |p^*(s' \mid s, a) - \hat{p}(s' \mid s, a)|
$$

**定理（模型误差累积上界）**：

设 $H$ 为规划 horizon，$\gamma$ 为折扣因子。令 $\epsilon = \max_{s,a} d_{TV}(p^*(\cdot \mid s, a), \hat{p}(\cdot \mid s, a))$ 为最大单步误差。则对于任意策略 $\pi$，有：

$$
|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \epsilon}{(1-\gamma)^2} \cdot H
$$

或更紧凑的形式：

$$
|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \epsilon}{(1-\gamma)^2}
$$

**推导**：

考虑真实值函数 $V^\pi$ 和模型值函数 $\hat{V}^\pi$ 的差距：

$$
|V^\pi(s) - \hat{V}^\pi(s)| \leq \mathbb{E}_\pi \left[ \sum_{t=0}^\infty \gamma^t |r_t - \hat{r}_t| \right] + \mathbb{E}_\pi \left[ \sum_{t=0}^\infty \gamma^t |V^\pi(s_{t+1}) - \hat{V}^\pi(s_{t+1})| \right]
$$

通过递归展开和三角不等式，可得上界。

### 6.2 PAC-MDP 框架下的样本复杂度分析

PAC-MDP（Probably Approximately Correct for MDP）框架要求算法以高概率（$1-\delta$）输出 $\epsilon$-近似最优策略。

**样本复杂度定义**：

$$
\text{Sample Complexity}(\epsilon, \delta) = \min \{ N : \Pr(J(\hat{\pi}) \geq J(\pi^*) - \epsilon) \geq 1 - \delta \}
$$

**基于模型方法的样本复杂度**：

若世界模型在 $\tilde{O}\left(\frac{S A}{\epsilon^2 (1-\gamma)^2}\right)$ 样本内达到 $\epsilon$ 误差，则策略学习的样本复杂度为：

$$
N_\text{model-based} = \tilde{O}\left( \frac{S A}{\epsilon^2 (1-\gamma)^2} \right)
$$

其中 $S$ 为状态空间大小，$A$ 为动作空间大小。

**对比无模型方法**：

$$
N_\text{model-free} = \tilde{O}\left( \frac{S A}{(1-\gamma)^2 \epsilon^2} \right)
$$

两者在渐进意义上相当，但实际中 Model-based 方法的常数因子更小，样本效率更高。

### 6.3 模型偏差与方差权衡

**偏差-方差分解**：

$$
\mathbb{E}[(\hat{J}(\pi) - J(\pi))^2] = \underbrace{(\mathbb{E}[\hat{J}(\pi)] - J(\pi))^2}_{\text{偏差}^2} + \underbrace{\mathbb{V}\text{ar}[\hat{J}(\pi)]}_{\mathrm{KL}
$$

**模型偏差来源**：
- 函数逼近引入的近似误差
- 有限数据导致的分布偏移
- 错误的状态空间抽象

**模型方差来源**：
- 训练数据的随机采样
- 模型参数的随机初始化
- 环境本身的不稳定性（随机性环境）

**最优权衡**：通过正则化（如 KL 散度约束）平衡模型容量和数据拟合：

$$
\min_\theta \mathcal{L}_\text{task}(\theta) + \lambda \cdot \mathcal{R}(\theta)
$$

其中 $\mathcal{R}$ 可以是参数范数惩罚、模型复杂度惩罚或先验 KL 散度。

---

## 7. 规划算法

### 7.1 模型预测控制（MPC）

MPC 是一种闭环控制策略，其核心思想是**在有限 horizon 内求解最优控制序列，但仅执行第一个动作**。

**标准 MPC 算法**：

```
输入：初始状态 s_0，动态模型 f，策略 π，horizon H，成本函数 c
1. for t = 0, 1, 2, ...:
2.     求解优化问题：{a_t^*, ..., a_{t+H-1}^*} = argmin Σ_{i=0}^{H-1} c(s_i, a_i)
3.                                   subject to s_{i+1} = f(s_i, a_i)
4.     执行动作 a_t^*（仅执行第一个）
5.     观测新状态 s_{t+1}
6.     重复
```

**MPC 的优势**：
- 对模型误差有天然的鲁棒性（每步重新规划，误差累积有限）
- 可以处理约束和非凸成本函数
- 无需显式学习策略

**计算复杂度**：

MPC 的计算复杂度为 $O(H \cdot |\mathcal{A}|)$（穷举搜索）或 $O(H \cdot \text{优化复杂度})$（基于梯度的优化）。

### 7.2 交叉熵方法（CEM）在规划中的应用

CEM 是一种适用于**黑盒优化**的采样算法，特别适合高维动作空间的规划问题。

**CEM 的数学基础**：

设我们要最大化目标函数 $J: \mathbb{R}^{H \times A} \to \mathbb{R}$。CEM 维护一个高斯分布 $p(a_{0:H-1}) = \mathcal{N}(\mu, \Sigma)$，通过以下步骤迭代优化：

1. **采样**：从当前分布采样 $N$ 条轨迹
2. **评估**：计算每条轨迹的目标值 $J^{(i)}$
3. **选择**：保留 top-$k$% 的最优轨迹
4. **拟合**：用高斯分布拟合选中轨迹的均值和方差

**收敛性**：

在温和条件下，CEM 以概率 1 收敛到全局最优。这是因为高斯分布族在 KL 散度意义下是对数似然的最佳近似。

### 7.3 步进式规划 vs 批量式规划

**步进式规划（Receding Horizon）**：

每步只规划未来 $H$ 步，执行第一个动作后重新规划。典型算法：MPC。

**批量式规划（Batch Planning）**：

一次性规划整个 episode 的动作序列，中间不重新规划。典型算法：蒙特卡洛树搜索（MCTS）、CEM（一次性采样全部动作）。

**对比**：

| 特性 | 步进式 | 批量式 |
|------|-------|--------|
| 计算分布 | 每步高峰 | 平滑 |
| 对模型误差鲁棒性 | 高 | 低 |
| 探索能力 | 受 horizon 限制 | 全 episode 范围 |
| 适用场景 | 在线控制 | 离线规划、游戏 AI |

---

## 8. 与扩散模型的结合（前沿）

扩散模型作为生成建模的强大工具，正在逐步渗透到世界模型和强化学习领域。

### 8.1 Dreamer 3D：使用扩散模型

Dreamer 3D 是将扩散模型引入 3D 视觉世界模型的早期尝试：

**核心架构**：

1. **扩散解码器**：使用 DDPM/DDIM 对观测进行解码，而非传统的 VAE 解码器
2. **隐空间规划**：在扩散模型的隐空间中进行策略优化
3. **3D 场景表示**：结合 NeRF 或 3D Gaussian Splatting 进行场景建模

**优势**：

- 扩散模型对复杂多模态分布的建模能力更强
- 可以生成高保真度的未来视频帧
- 更强的对抗噪声鲁棒性

**挑战**：

- 去噪过程计算开销大，推理速度慢
- 隐空间策略优化与扩散模型的结合尚不成熟

### 8.2 扩散模型用于世界建模

**近期研究进展**：

1. **Diffusion World Model**：使用扩散模型直接建模 $p(s_{t+1} \mid s_t, a_t)$，替代传统的自回归或 VAE 模型

2. **Planning with Diffusion**：在扩散模型的采样过程中注入奖励信号，引导生成朝向高奖励的轨迹

3. **Score-based RL**：利用 score matching 目标训练世界模型和策略

**数学框架**：

扩散模型通过逐步加噪和去噪学习数据分布：

$$
q(x_{t+1} \mid x_t) = \mathcal{N}(x_{t+1}; \sqrt{1-\beta_t} x_t, \beta_t I)
$$

去噪过程学习score function $\nabla_{x_t} \log p(x_t)$：

$$
p_\theta(x_{0:H}) = p(x_H) \prod_{t=1}^H p_\theta(x_{t-1} \mid x_t)
$$

**在 RL 中的应用**：

- **轨迹生成**：扩散模型可以生成多样化的专家轨迹用于模仿学习
- **反事实推理**：在想象空间中进行干预，评估不同动作序列的后果
- **安全约束**：通过Classifier Guidance控制生成轨迹满足安全要求

---

## 附录：核心算法对比

| 算法 | 世界模型 | 规划方式 | 样本效率 | 典型应用 |
|------|---------|---------|---------|---------|
| Dreamer v1 | RSSM (变分) | 策略梯度 | 极高 | 2D 游戏、连续控制 |
| Dreamer v2/v3 | RSSM (增强) | 策略梯度 | 极高 | 2D/3D 游戏 |
| SimPLe | 视频预测 CNN | CEM | 高 | 2D 游戏 |
| MuZero | 隐模型 + MCTS | MCTS | 高 | Atari, Go, Chess |
| World Models | VAE + RNN | 进化策略 | 中等 | 2D 游戏 |

---

## 参考文献

1. Hafner, D., Lillicrap, T., Fischer, I., et al. (2019). Dream to Control: Learning Behaviors by Latent Imagination. *NeurIPS*.

2. Hafner, D., Lillicrap, T., Ba, J., & Norouzi, M. (2020). Dream to Control: Learning Behaviors by Latent Imagination. *ICLR*.

3. Kaiser, L., Babaeizadeh, M., Milos, P., et al. (2019). Model-Based Reinforcement Learning for Atari. *ICLR*.

4. Schrittwieser, J., Antonoglou, I., Hubert, T., et al. (2020). Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. *Nature*.

5. Ball, P., Roberts, S. J. (2021). From pixels to planning: A survey of model-based reinforcement learning. *arXiv*.

6. Janner, M., Du, Y., Tate, J., et al. (2022). Planning with Diffusion for Flexible Behavior Synthesis. *ICML*.

---

*本笔记由 AI 生成于 2026-05-14*