618 lines
22 KiB
Markdown
618 lines
22 KiB
Markdown
---
|
||
title: 06-世界模型
|
||
tags:
|
||
- 世界模型
|
||
- Model-based-RL
|
||
- 强化学习
|
||
- 深度强化学习
|
||
---
|
||
|
||
# Model-based RL（世界模型）
|
||
|
||
> 本笔记面向深度学习与强化学习科研人员，系统梳理基于世界模型的强化学习方法。
|
||
|
||
## 1. Model-based RL 的基本框架
|
||
|
||
### 1.1 世界模型（World Model）的定义
|
||
|
||
在 Model-based RL 中，我们构建一个**世界模型**（World Model）来学习环境的动力学：
|
||
|
||
$$
|
||
p(s_{t+1} \mid s_t, a_t): \text{状态转移函数} \\
|
||
p(r_t \mid s_t, a_t): \text{奖励函数}
|
||
$$
|
||
|
||
其中 $s_t$ 为状态，$a_t$ 为动作，$r_t$ 为奖励。
|
||
|
||
世界模型的目标是**从历史交互数据中学习这些条件概率分布**，从而无需再与真实环境交互，仅通过想象（imagination）即可进行策略优化。
|
||
|
||
### 1.2 模型学习的监督学习目标
|
||
|
||
给定经验回放缓冲区 $\mathcal{D} = \{(s_t, a_t, s_{t+1}, r_t)\}$，世界模型的参数 $\theta$ 通过以下监督学习目标进行优化：
|
||
|
||
$$
|
||
\mathcal{L}^\text{model}(\theta) = \sum_{(s_t, a_t, s_{t+1}, r_t) \in \mathcal{D}} \left[ -\log p_\theta(s_{t+1} \mid s_t, a_t) - \log p_\theta(r_t \mid s_t, a_t) \right]
|
||
$$
|
||
|
||
对于离散状态空间，可以简化为交叉熵损失；对于连续状态空间，通常使用高斯分布建模并优化负对数似然。
|
||
|
||
### 1.3 模型预测误差对策略优化的影响（误差传播分析）
|
||
|
||
世界模型的学习误差会随着想象步数的增加而**指数级累积**，这是 Model-based RL 的核心挑战。
|
||
|
||
设 $h_t$ 为真实环境轨迹，$\hat{h}_t$ 为模型想象的轨迹，定义单步误差：
|
||
|
||
$$
|
||
\epsilon_t = \mathbb{E}[d(s_{t+1}, \hat{s}_{t+1})]
|
||
$$
|
||
|
||
其中 $d(\cdot, \cdot)$ 为某种距离度量（如 KL 散度或欧氏距离）。
|
||
|
||
经过 $H$ 步想象后，累积误差满足：
|
||
|
||
$$
|
||
\epsilon_{\mathrm{KL}}(H) \leq \epsilon_0 \cdot \sum_{i=0}^{H-1} \gamma^i \approx \frac{\epsilon_0}{1-\gamma}, \quad \gamma < 1
|
||
$$
|
||
|
||
对于确定性模型，误差会快速发散；对于随机性模型，随机性可以"吸收"部分误差，减缓发散速度。
|
||
|
||
**策略依赖误差**：策略 $\pi_\phi$ 依赖于模型预测的回报，而模型误差导致策略偏移。设真实回报为 $J(\pi)$，模型回报为 $\hat{J}(\pi)$，则：
|
||
|
||
$$
|
||
|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \cdot \epsilon_{\mathrm{KL}}{(1-\gamma)^2}
|
||
$$
|
||
|
||
其中 $R_{\max}$ 为单步奖励上界。
|
||
|
||
---
|
||
|
||
## 2. Dreamer 系列
|
||
|
||
Dreamer 是 Hafner 等人提出的基于世界模型的强化学习系列算法，其核心创新在于**在隐状态空间中进行高效的策略优化**。
|
||
|
||
### 2.1 Dreamer v1：RSSM（Recurrent State Space Model）架构
|
||
|
||
Dreamer v1 提出了 **RSSM**，一种混合了确定性隐状态和随机性隐状态的模型架构：
|
||
|
||
$$
|
||
\text{RSSM}: \begin{cases}
|
||
h_t = f_\theta(h_{t-1}, z_t, a_{t-1}) & (deterministic hidden state) \\
|
||
z_t \sim p_\phi(z_t \mid h_t, o_t) & (stochastic hidden state) \\
|
||
o_t \sim p_\psi(o_t \mid h_t, z_t) & (observation reconstruction) \\
|
||
r_t \sim p_\xi(r_t \mid h_t, z_t) & (reward prediction)
|
||
\end{cases}
|
||
$$
|
||
|
||
其中：
|
||
- $h_t$：确定性 RNN 隐状态（捕捉长期依赖）
|
||
- $z_t$：随机变量（处理环境不确定性）
|
||
- $o_t$：观测（像素或特征）
|
||
- $a_{t-1}$：上一时刻动作
|
||
|
||
**KL 散度正则化目标**：
|
||
|
||
Dreamer v1 的完整训练目标包含一个平衡重建质量与隐状态预测能力的 KL 正则项：
|
||
|
||
$$
|
||
\mathcal{L}(\theta, \phi, \xi) = \sum_{t} \underbrace{\log p_\xi(r_t \mid h_t, z_t)}_{\mathrm{KL} + \beta \cdot \underbrace{D_{\mathrm{KL}}(q_\phi(z_t \mid h_t, o_t) \| p_\psi(z_t \mid h_t))}_{\mathrm{KL}
|
||
$$
|
||
|
||
其中 $\beta > 0$ 为权衡系数：
|
||
- $\beta$ 过大：强制 $z_t$ 服从先验，丢失信息，模型退化为确定性模型
|
||
- $\beta$ 过小：后验过于依赖观测，过拟合观测噪声
|
||
|
||
**RSSM 的设计哲学**：
|
||
- **确定性部分** ($h_t$)：提供稳定的梯度传播路径，解决长序列训练难题
|
||
- **随机部分** ($z_t$)：捕捉环境的内在随机性，允许模型表达多种可能的未来
|
||
|
||
### 2.2 Dreamer v2/v3：表示能力增强
|
||
|
||
**Dreamer v2** 的主要改进：
|
||
|
||
1. **特征对齐（Feature Alignment）**：将像素级重建替换为特征级对齐，使用对比学习损失对齐隐表示与真实环境特征。
|
||
|
||
2. **动作离散化（Action Discretization）**：将连续动作空间映射到离散嵌入，简化策略优化。
|
||
|
||
3. **混合自动编码器架构**：引入双路径编码器，同时处理像素和状态信息。
|
||
|
||
**Dreamer v3** 的主要改进：
|
||
|
||
1. **尺度化架构（Scalar Latent）**：引入标量随机隐变量，显著增强模型表达能力。
|
||
|
||
2. **无人工特设计的网络架构**：通过超参数自动搜索发现更好的 RSSM 配置。
|
||
|
||
3. **3D 视觉环境的端到端学习**：首次在 Minecraft 等复杂 3D 环境中实现从零开始的视觉强化学习。
|
||
|
||
**Dreamer v3 的损失函数**：
|
||
|
||
$$
|
||
\mathcal{L} = \sum_{t} \log p_\xi(r_t \mid h_t, z_t) + \alpha \cdot \log p_\xi(o_t \mid h_t, z_t) + \beta \cdot D_{\mathrm{KL}}(q_\phi(z_t \mid h_t, o_t) \| p_\psi(z_t \mid h_t))
|
||
$$
|
||
|
||
其中 $\alpha$ 控制观测重建的重要性。
|
||
|
||
### 2.3 想象空间中的策略优化
|
||
|
||
Dreamer 系列的核心创新是**不需要与真实环境交互**，仅通过学习到的世界模型进行策略优化：
|
||
|
||
**想象轨迹展开**：
|
||
|
||
给定当前策略 $\pi_\phi$ 和世界模型 $(\theta, \phi, \xi)$，我们可以在隐空间中进行"想象"：
|
||
|
||
$$
|
||
\forall t \geq 0: \quad \hat{a}_t \sim \pi_\phi(\cdot \mid \hat{h}_t, \hat{z}_t), \quad \hat{z}_{t+1} \sim p_\psi(\cdot \mid \hat{h}_t, \hat{a}_t), \quad \hat{h}_{t+1} = f_\theta(\hat{h}_t, \hat{z}_{t+1}, \hat{a}_t)
|
||
$$
|
||
|
||
**策略梯度更新**：
|
||
|
||
$$
|
||
\nabla_\phi J(\pi_\phi) \approx \sum_{t=0}^{H-1} \nabla_\phi \sum_{t'=t}^{H-1} \hat{r}_{t'} \cdot \nabla_\phi \log \pi_\phi(\hat{a}_t \mid \hat{h}_t, \hat{z}_t)
|
||
$$
|
||
|
||
其中 $\hat{r}_t = \log p_\xi(r_t \mid \hat{h}_t, \hat{z}_t)$ 为想象奖励。
|
||
|
||
**算法流程**：
|
||
|
||
1. **数据收集**：在真实环境中与环境交互，收集经验 $(s_t, a_t, s_{t+1}, r_t)$
|
||
2. **世界模型学习**：使用收集的数据训练世界模型参数 $(\theta, \phi, \xi)$
|
||
3. **想象策略优化**：在世界模型的想象空间中，使用策略梯度算法（如 REINFORCE 或 Actor-Critic）优化策略 $\pi_\phi$
|
||
4. **策略执行**：使用更新后的策略在真实环境中执行动作
|
||
5. 重复以上步骤
|
||
|
||
---
|
||
|
||
## 3. SimPLe（Sample Efficient Model-based RL）
|
||
|
||
SimPLe 是 2019 年由 Kaiser 等人提出的像素级 Model-based RL 算法，其核心是在**像素空间**直接进行世界建模和动作规划。
|
||
|
||
### 3.1 像素级世界模型的构建
|
||
|
||
SimPLe 使用一个**视频预测模型**作为世界模型，输入当前帧和动作序列，预测下一帧：
|
||
|
||
$$
|
||
\hat{o}_{t+1} = f_\theta(o_t, a_t)
|
||
$$
|
||
|
||
网络架构基于 VTN（Video Prediction Network），包含：
|
||
- **编码器**：将当前像素帧编码为低维隐表示
|
||
- **解码器**：从隐表示重建下一帧像素
|
||
- **动作融合**：通过空间广播（spatial broadcasting）或通道拼接注入动作信息
|
||
|
||
**训练目标**：
|
||
|
||
$$
|
||
\mathcal{L}_\text{SimPLe}(\theta) = \sum_{t=0}^{T-1} \| o_{t+1} - \hat{o}_{t+1} \|^2
|
||
$$
|
||
|
||
### 3.2 交叉熵方法（CEM）用于动作规划
|
||
|
||
SimPLe 使用**交叉熵方法**（Cross-Entropy Method）进行动作序列规划：
|
||
|
||
**CEM 简介**：
|
||
|
||
CEM 是一种基于采样的优化算法，适用于难以求导的优化目标。其核心思想是维护一个动作分布的参数化家族，通过迭代优化使其逼近最优解。
|
||
|
||
**CEM 规划算法**：
|
||
|
||
```
|
||
输入：世界模型 f_θ，初始观测 o_0， horizon H，迭代次数 K
|
||
1. 初始化动作序列分布：μ ← 0, Σ ← I
|
||
2. for iter = 1 to K:
|
||
3. 从 N(μ, Σ) 采样 N 条动作序列 {a_0^{(i)}, ..., a_{H-1}^{(i)}}
|
||
4. for each 动作序列 i:
|
||
5. 使用世界模型 rollout：o_{1:H}^{(i)} = f_θ(o_0, a_0^{(i)}, ..., a_{H-1}^{(i)})
|
||
6. 计算累积奖励 R^{(i)}（或目标函数值）
|
||
7. 选择 top-k% 最优序列，计算新的 μ, Σ
|
||
8. return μ（最优动作序列）
|
||
```
|
||
|
||
**在 SimPLe 中的应用**：
|
||
|
||
- Horizon $H$ 通常设为 10-50 步
|
||
- 每步使用贪心策略执行第一个动作，然后重新规划（ receding horizon control）
|
||
- 采样数量通常为 100-1000 条轨迹
|
||
|
||
### 3.3 与模型预测控制（MPC）的关系
|
||
|
||
SimPLe 本质上是一种 **Model Predictive Control（MPC）** 方法：
|
||
|
||
| 组件 | SimPLe | 经典 MPC |
|
||
|------|--------|----------|
|
||
| 预测模型 | 神经网络视频预测器 | 线性/非线性动力学模型 |
|
||
| 规划算法 | 交叉熵方法 | iLQR, SQP |
|
||
| 控制频率 | 低（每 10-50 步重新规划） | 高（每步重新规划） |
|
||
| 样本效率 | 高（几千步交互即可） | 取决于模型精度 |
|
||
|
||
SimPLe 的优势在于**样本效率**：仅需约 10 万步环境交互（相当于 2 小时游戏时间）即可学习有效策略，相比无模型方法（如 DQN）提升 10 倍以上。
|
||
|
||
---
|
||
|
||
## 4. MuZero（AlphaFold2 的 RL 版）
|
||
|
||
MuZero 是 DeepMind 提出的无模型先验的基于模型的强化学习算法，其核心创新是**无需显式建模环境动力学**，而是通过隐模型学习"最优"的奖励预测。
|
||
|
||
### 4.1 无监督学习奖励函数（无需环境交互）
|
||
|
||
MuZero 的核心洞察：**我们不需要精确建模环境 $p(s_{t+1} \mid s_t, a_t)$，我们只需要一个能预测累积奖励的隐模型**。
|
||
|
||
MuZero 维护一个**隐状态空间**，通过以下组件建模：
|
||
|
||
$$
|
||
\begin{aligned}
|
||
\text{表示网络（Representation）}: & \quad h_\phi(s_0) = h_0 \\
|
||
\text{动态网络（ dynamics）}: & \quad (r_t, s_{t+1}) = g_\phi(s_t, a_t) \\
|
||
\text{预测网络（Prediction）}: & \quad (\pi_t, v_t) = f_\phi(s_t)
|
||
\end{aligned}
|
||
$$
|
||
|
||
其中 $s_t$ 是隐状态，$r_t$ 是单步奖励，$\pi_t$ 是策略，$v_t$ 是价值估计。
|
||
|
||
**自监督学习目标**：
|
||
|
||
MuZero 不依赖环境交互的奖励信号，而是通过 MCTS 自我对弈生成隐奖励：
|
||
|
||
$$
|
||
\mathcal{L}(\phi) = \sum_{t} \left[ \underbrace{(v_t - z_t)^2}_{\mathrm{KL} + \underbrace{\sum_j \pi_t(a_j) \log \pi_t(a_j)}_{\mathrm{KL} - \underbrace{\log p_\theta(a_t \mid s_t)}_{\mathrm{KL} \right]
|
||
$$
|
||
|
||
其中 $z_t$ 是 n 步回报的蒙特卡洛估计。
|
||
|
||
### 4.2 MCTS（蒙特卡洛树搜索）与模型预测的结合
|
||
|
||
MuZero 将 MCTS 与学习到的隐模型结合，实现高效的规划：
|
||
|
||
**MCTS 节点扩展**：
|
||
|
||
每个 MCTS 节点存储：$(s, N, W, Q, P)$
|
||
- $s$：隐状态
|
||
- $N$：访问计数
|
||
- $W$：累计价值
|
||
- $Q$：平均价值
|
||
- $P$：先验策略
|
||
|
||
** Selection 过程**（PUCT 公式）：
|
||
|
||
$$
|
||
a^* = \arg\max_a \left[ Q(s, a) + c \cdot P(s, a) \cdot \frac{\sqrt{\sum_b N(s, b)}}{1 + N(s, a)} \right]
|
||
$$
|
||
|
||
** Expansion**：使用动态网络 $g_\phi$ 扩展叶子节点：
|
||
|
||
$$
|
||
(r_k, s_{k+1}) = g_\phi(s_k, a_k)
|
||
$$
|
||
|
||
** Backup**：从叶子节点向上更新 $W$ 和 $Q$。
|
||
|
||
**MuZero 的规划优势**：
|
||
|
||
- MCTS 提供树搜索的探索机制，避免陷入局部最优
|
||
- 隐模型允许"无限深度"的预演，不受真实环境步数限制
|
||
- 每次 MCTS 搜索相当于数千次想象的策略评估
|
||
|
||
### 4.3 策略与值网络的联合训练
|
||
|
||
MuZero 使用 **Unplugged Atari** setting，即完全从历史数据中学习，无需环境交互。
|
||
|
||
**训练流程**：
|
||
|
||
1. **数据采样**：从 replay buffer 采样 episode片段
|
||
2. **隐状态展开**：使用表示网络初始化 $s_0$，然后用动态网络展开 $H$ 步
|
||
3. **多步回报计算**：对于每一步 $t$，计算 n 步回报 $z_t = \sum_{i=0}^{n-1} \gamma^i r_{t+i} + \gamma^n v_{t+n}$
|
||
4. **梯度更新**：最小化价值、策略和奖励预测的联合损失
|
||
|
||
**损失函数**：
|
||
|
||
$$
|
||
\mathcal{L}(\phi) = \sum_{t=0}^{H} \ell_v(v_t, z_t) + \ell_\pi(\pi_t, \pi_t^{\mathrm{KL}}) + \ell_r(r_t, r_t^{\mathrm{KL}})
|
||
$$
|
||
|
||
其中 $\ell_v$、$\ell_\pi$、$\ell_r$ 分别为价值、策略和奖励的预测损失。
|
||
|
||
---
|
||
|
||
## 5. 视觉模型预测
|
||
|
||
### 5.1 视频预测模型
|
||
|
||
**DVDMF（Variational Discriminative Video Prediction）**：
|
||
|
||
DVDMF 使用变分推断进行视频预测，建模未来轨迹的条件分布：
|
||
|
||
$$
|
||
p(o_{1:H} \mid o_0, a_{0:H-1}) = \int p_\theta(o_{1:H} \mid z, o_0, a_{0:H-1}) q_\phi(z \mid o_0, a_{0:H-1}) dz
|
||
$$
|
||
|
||
其中 $z$ 为潜在变量，捕捉未来不确定性。
|
||
|
||
**SVG（Stochastic Video Generation）**：
|
||
|
||
SVG 引入随机变量 $z_t$ 到视频生成过程：
|
||
|
||
$$
|
||
p(o_{1:H}) = \prod_{t=1}^{H} p_\theta(o_t \mid o_{<t}, z_t), \quad z_t \sim \mathcal{N}(0, I)
|
||
$$
|
||
|
||
通过 reparameterization trick 进行端到端训练。
|
||
|
||
**SRN（Scene Representation Network）**：
|
||
|
||
SRN 将 3D 场景表示为可微分的体积素（voxel grid）或神经场（NeRF），通过视图合成进行视频预测：
|
||
|
||
$$
|
||
\hat{o}_t = \text{Renderer}(\text{Encoder}(o_{<t}), a_{t-1})
|
||
$$
|
||
|
||
### 5.2 梦魇攻击（Adversarial Imagination）分析
|
||
|
||
梦魇攻击是指利用世界模型的预测能力，在想象空间中进行对抗性规划，诱导策略进入恶意的"梦魇状态"。
|
||
|
||
**攻击框架**：
|
||
|
||
设攻击者目标为最大化对抗损失：
|
||
|
||
$$
|
||
\max_{a_{0:H-1} \in \mathcal{A}^H} \sum_{t=0}^{H-1} \ell_\text{adv}(\hat{s}_t, \hat{o}_t)
|
||
$$
|
||
|
||
subject to $\hat{s}_{t+1} = f_\theta(\hat{s}_t, a_t)$
|
||
|
||
**防御策略**：
|
||
|
||
1. **对抗性训练**：在训练数据中注入对抗轨迹
|
||
2. **正则化**：约束模型对动作扰动的敏感度
|
||
3. **不确定性建模**：识别模型不确定区域，拒绝低置信度预测
|
||
|
||
### 5.3 随机性与确定性世界模型
|
||
|
||
| 特性 | 确定性模型 | 随机性模型 |
|
||
|------|-----------|-----------|
|
||
| 表达式 | $\hat{s}_{t+1} = f_\theta(s_t, a_t)$ | $\hat{s}_{t+1} \sim p_\theta(\cdot \mid s_t, a_t)$ |
|
||
| 梯度传播 | 高效、稳定 | 需要变分推断或 importance sampling |
|
||
| 误差累积 | 快速发散 | 较慢（随机性"吸收"误差） |
|
||
| 探索 | 隐式 | 显式（熵正则化） |
|
||
| 代表算法 | World Models, Dreamer | RSSM, SVG, PET |
|
||
|
||
---
|
||
|
||
## 6. Model-based RL 的理论分析
|
||
|
||
### 6.1 模型误差上界（Model Error Bound）
|
||
|
||
设 $\hat{p}$ 为学习到的转移模型，$p^*$ 为真实转移模型。定义总变差距离：
|
||
|
||
$$
|
||
d_{TV}(p^*(\cdot \mid s, a), \hat{p}(\cdot \mid s, a)) = \frac{1}{2} \sum_{s'} |p^*(s' \mid s, a) - \hat{p}(s' \mid s, a)|
|
||
$$
|
||
|
||
**定理（模型误差累积上界）**：
|
||
|
||
设 $H$ 为规划 horizon，$\gamma$ 为折扣因子。令 $\epsilon = \max_{s,a} d_{TV}(p^*(\cdot \mid s, a), \hat{p}(\cdot \mid s, a))$ 为最大单步误差。则对于任意策略 $\pi$，有：
|
||
|
||
$$
|
||
|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \epsilon}{(1-\gamma)^2} \cdot H
|
||
$$
|
||
|
||
或更紧凑的形式：
|
||
|
||
$$
|
||
|J(\pi) - \hat{J}(\pi)| \leq \frac{2 R_{\max} \epsilon}{(1-\gamma)^2}
|
||
$$
|
||
|
||
**推导**：
|
||
|
||
考虑真实值函数 $V^\pi$ 和模型值函数 $\hat{V}^\pi$ 的差距：
|
||
|
||
$$
|
||
|V^\pi(s) - \hat{V}^\pi(s)| \leq \mathbb{E}_\pi \left[ \sum_{t=0}^\infty \gamma^t |r_t - \hat{r}_t| \right] + \mathbb{E}_\pi \left[ \sum_{t=0}^\infty \gamma^t |V^\pi(s_{t+1}) - \hat{V}^\pi(s_{t+1})| \right]
|
||
$$
|
||
|
||
通过递归展开和三角不等式，可得上界。
|
||
|
||
### 6.2 PAC-MDP 框架下的样本复杂度分析
|
||
|
||
PAC-MDP（Probably Approximately Correct for MDP）框架要求算法以高概率（$1-\delta$）输出 $\epsilon$-近似最优策略。
|
||
|
||
**样本复杂度定义**：
|
||
|
||
$$
|
||
\text{Sample Complexity}(\epsilon, \delta) = \min \{ N : \Pr(J(\hat{\pi}) \geq J(\pi^*) - \epsilon) \geq 1 - \delta \}
|
||
$$
|
||
|
||
**基于模型方法的样本复杂度**：
|
||
|
||
若世界模型在 $\tilde{O}\left(\frac{S A}{\epsilon^2 (1-\gamma)^2}\right)$ 样本内达到 $\epsilon$ 误差，则策略学习的样本复杂度为：
|
||
|
||
$$
|
||
N_\text{model-based} = \tilde{O}\left( \frac{S A}{\epsilon^2 (1-\gamma)^2} \right)
|
||
$$
|
||
|
||
其中 $S$ 为状态空间大小，$A$ 为动作空间大小。
|
||
|
||
**对比无模型方法**：
|
||
|
||
$$
|
||
N_\text{model-free} = \tilde{O}\left( \frac{S A}{(1-\gamma)^2 \epsilon^2} \right)
|
||
$$
|
||
|
||
两者在渐进意义上相当，但实际中 Model-based 方法的常数因子更小，样本效率更高。
|
||
|
||
### 6.3 模型偏差与方差权衡
|
||
|
||
**偏差-方差分解**：
|
||
|
||
$$
|
||
\mathbb{E}[(\hat{J}(\pi) - J(\pi))^2] = \underbrace{(\mathbb{E}[\hat{J}(\pi)] - J(\pi))^2}_{\text{偏差}^2} + \underbrace{\mathbb{V}\text{ar}[\hat{J}(\pi)]}_{\mathrm{KL}
|
||
$$
|
||
|
||
**模型偏差来源**：
|
||
- 函数逼近引入的近似误差
|
||
- 有限数据导致的分布偏移
|
||
- 错误的状态空间抽象
|
||
|
||
**模型方差来源**：
|
||
- 训练数据的随机采样
|
||
- 模型参数的随机初始化
|
||
- 环境本身的不稳定性（随机性环境）
|
||
|
||
**最优权衡**：通过正则化（如 KL 散度约束）平衡模型容量和数据拟合：
|
||
|
||
$$
|
||
\min_\theta \mathcal{L}_\text{task}(\theta) + \lambda \cdot \mathcal{R}(\theta)
|
||
$$
|
||
|
||
其中 $\mathcal{R}$ 可以是参数范数惩罚、模型复杂度惩罚或先验 KL 散度。
|
||
|
||
---
|
||
|
||
## 7. 规划算法
|
||
|
||
### 7.1 模型预测控制（MPC）
|
||
|
||
MPC 是一种闭环控制策略，其核心思想是**在有限 horizon 内求解最优控制序列，但仅执行第一个动作**。
|
||
|
||
**标准 MPC 算法**：
|
||
|
||
```
|
||
输入：初始状态 s_0，动态模型 f，策略 π，horizon H，成本函数 c
|
||
1. for t = 0, 1, 2, ...:
|
||
2. 求解优化问题：{a_t^*, ..., a_{t+H-1}^*} = argmin Σ_{i=0}^{H-1} c(s_i, a_i)
|
||
3. subject to s_{i+1} = f(s_i, a_i)
|
||
4. 执行动作 a_t^*（仅执行第一个）
|
||
5. 观测新状态 s_{t+1}
|
||
6. 重复
|
||
```
|
||
|
||
**MPC 的优势**：
|
||
- 对模型误差有天然的鲁棒性（每步重新规划，误差累积有限）
|
||
- 可以处理约束和非凸成本函数
|
||
- 无需显式学习策略
|
||
|
||
**计算复杂度**：
|
||
|
||
MPC 的计算复杂度为 $O(H \cdot |\mathcal{A}|)$（穷举搜索）或 $O(H \cdot \text{优化复杂度})$（基于梯度的优化）。
|
||
|
||
### 7.2 交叉熵方法（CEM）在规划中的应用
|
||
|
||
CEM 是一种适用于**黑盒优化**的采样算法，特别适合高维动作空间的规划问题。
|
||
|
||
**CEM 的数学基础**：
|
||
|
||
设我们要最大化目标函数 $J: \mathbb{R}^{H \times A} \to \mathbb{R}$。CEM 维护一个高斯分布 $p(a_{0:H-1}) = \mathcal{N}(\mu, \Sigma)$，通过以下步骤迭代优化：
|
||
|
||
1. **采样**：从当前分布采样 $N$ 条轨迹
|
||
2. **评估**：计算每条轨迹的目标值 $J^{(i)}$
|
||
3. **选择**：保留 top-$k$% 的最优轨迹
|
||
4. **拟合**：用高斯分布拟合选中轨迹的均值和方差
|
||
|
||
**收敛性**：
|
||
|
||
在温和条件下，CEM 以概率 1 收敛到全局最优。这是因为高斯分布族在 KL 散度意义下是对数似然的最佳近似。
|
||
|
||
### 7.3 步进式规划 vs 批量式规划
|
||
|
||
**步进式规划（Receding Horizon）**：
|
||
|
||
每步只规划未来 $H$ 步，执行第一个动作后重新规划。典型算法：MPC。
|
||
|
||
**批量式规划（Batch Planning）**：
|
||
|
||
一次性规划整个 episode 的动作序列，中间不重新规划。典型算法：蒙特卡洛树搜索（MCTS）、CEM（一次性采样全部动作）。
|
||
|
||
**对比**：
|
||
|
||
| 特性 | 步进式 | 批量式 |
|
||
|------|-------|--------|
|
||
| 计算分布 | 每步高峰 | 平滑 |
|
||
| 对模型误差鲁棒性 | 高 | 低 |
|
||
| 探索能力 | 受 horizon 限制 | 全 episode 范围 |
|
||
| 适用场景 | 在线控制 | 离线规划、游戏 AI |
|
||
|
||
---
|
||
|
||
## 8. 与扩散模型的结合（前沿）
|
||
|
||
扩散模型作为生成建模的强大工具，正在逐步渗透到世界模型和强化学习领域。
|
||
|
||
### 8.1 Dreamer 3D：使用扩散模型
|
||
|
||
Dreamer 3D 是将扩散模型引入 3D 视觉世界模型的早期尝试：
|
||
|
||
**核心架构**：
|
||
|
||
1. **扩散解码器**：使用 DDPM/DDIM 对观测进行解码，而非传统的 VAE 解码器
|
||
2. **隐空间规划**：在扩散模型的隐空间中进行策略优化
|
||
3. **3D 场景表示**：结合 NeRF 或 3D Gaussian Splatting 进行场景建模
|
||
|
||
**优势**：
|
||
|
||
- 扩散模型对复杂多模态分布的建模能力更强
|
||
- 可以生成高保真度的未来视频帧
|
||
- 更强的对抗噪声鲁棒性
|
||
|
||
**挑战**：
|
||
|
||
- 去噪过程计算开销大，推理速度慢
|
||
- 隐空间策略优化与扩散模型的结合尚不成熟
|
||
|
||
### 8.2 扩散模型用于世界建模
|
||
|
||
**近期研究进展**：
|
||
|
||
1. **Diffusion World Model**：使用扩散模型直接建模 $p(s_{t+1} \mid s_t, a_t)$，替代传统的自回归或 VAE 模型
|
||
|
||
2. **Planning with Diffusion**：在扩散模型的采样过程中注入奖励信号，引导生成朝向高奖励的轨迹
|
||
|
||
3. **Score-based RL**：利用 score matching 目标训练世界模型和策略
|
||
|
||
**数学框架**：
|
||
|
||
扩散模型通过逐步加噪和去噪学习数据分布：
|
||
|
||
$$
|
||
q(x_{t+1} \mid x_t) = \mathcal{N}(x_{t+1}; \sqrt{1-\beta_t} x_t, \beta_t I)
|
||
$$
|
||
|
||
去噪过程学习score function $\nabla_{x_t} \log p(x_t)$：
|
||
|
||
$$
|
||
p_\theta(x_{0:H}) = p(x_H) \prod_{t=1}^H p_\theta(x_{t-1} \mid x_t)
|
||
$$
|
||
|
||
**在 RL 中的应用**：
|
||
|
||
- **轨迹生成**：扩散模型可以生成多样化的专家轨迹用于模仿学习
|
||
- **反事实推理**：在想象空间中进行干预，评估不同动作序列的后果
|
||
- **安全约束**：通过Classifier Guidance控制生成轨迹满足安全要求
|
||
|
||
---
|
||
|
||
## 附录：核心算法对比
|
||
|
||
| 算法 | 世界模型 | 规划方式 | 样本效率 | 典型应用 |
|
||
|------|---------|---------|---------|---------|
|
||
| Dreamer v1 | RSSM (变分) | 策略梯度 | 极高 | 2D 游戏、连续控制 |
|
||
| Dreamer v2/v3 | RSSM (增强) | 策略梯度 | 极高 | 2D/3D 游戏 |
|
||
| SimPLe | 视频预测 CNN | CEM | 高 | 2D 游戏 |
|
||
| MuZero | 隐模型 + MCTS | MCTS | 高 | Atari, Go, Chess |
|
||
| World Models | VAE + RNN | 进化策略 | 中等 | 2D 游戏 |
|
||
|
||
---
|
||
|
||
## 参考文献
|
||
|
||
1. Hafner, D., Lillicrap, T., Fischer, I., et al. (2019). Dream to Control: Learning Behaviors by Latent Imagination. *NeurIPS*.
|
||
|
||
2. Hafner, D., Lillicrap, T., Ba, J., & Norouzi, M. (2020). Dream to Control: Learning Behaviors by Latent Imagination. *ICLR*.
|
||
|
||
3. Kaiser, L., Babaeizadeh, M., Milos, P., et al. (2019). Model-Based Reinforcement Learning for Atari. *ICLR*.
|
||
|
||
4. Schrittwieser, J., Antonoglou, I., Hubert, T., et al. (2020). Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. *Nature*.
|
||
|
||
5. Ball, P., Roberts, S. J. (2021). From pixels to planning: A survey of model-based reinforcement learning. *arXiv*.
|
||
|
||
6. Janner, M., Du, Y., Tate, J., et al. (2022). Planning with Diffusion for Flexible Behavior Synthesis. *ICML*.
|
||
|
||
---
|
||
|
||
*本笔记由 AI 生成于 2026-05-14* |