---
title: 1-Diffusion Planning
draft: false
tags:
  - Diffusion
  - Planning
  - 规划
  - 强化学习
  - 生成模型
---

# Diffusion for Planning

> 更新时间：2026-05-14
> 面向读者：深度学习与强化学习科研人员
> 推荐前置知识：DDPM / Score-based Model / Flow Matching / MDP / MPC

---

## 1. 背景：从扩散模型到规划

### 1.1 扩散模型的进展

扩散模型（Diffusion Model）经历了三个主要范式演进：

**（1）DDPM（Denoising Diffusion Probabilistic Models，Ho et al., 2020）**

DDPM 将生成分布的学习形式化为一个变分推断问题。设真实数据分布为 $q(x_0)$，扩散过程定义为在 $T$ 步内对数据逐步加噪：

$$
q(x_{1:T} \mid x_0) = \prod_{t=1}^{T} q(x_t \mid x_{t-1}), \quad q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)
$$

其中 $\beta_t \in (0,1)$ 是噪声调度参数。逆过程 $p_\theta(x_{t-1} \mid x_t)$ 用神经网络近似：

$$
p_\theta(x_{t-1} \mid x_t) = \mathcal{N}\left(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t)\right)
$$

Ho et al. 证明，最优均值预测器为：

$$
\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}} \epsilon_\theta(x_t, t) \right)
$$

其中 $\alpha_t = 1-\beta_t$，$\bar{\alpha}_t = \prod_{s=1}^t \alpha_s$，$\epsilon_\theta$ 是噪声预测网络。

**（2）Score-based Model（Song et al., 2019, 2021）**

Score-based 模型从另一个角度切入：直接学习对数概率密度的梯度场 $\nabla_{x_t} \log p(x_t)$，称为 score function $\nabla_{x_t} \log p(x_t) = s_\theta(x_t, t)$。训练目标为去噪分数匹配（DSM）：

$$
\mathcal{L}(\theta) = \mathbb{E}_{t, x_0, \epsilon} \left[ \| s_\theta(x_t, t) - \nabla_{x_t} \log q(x_t \mid x_0) \|^2 \right]
$$

其中 $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，$\epsilon \sim \mathcal{N}(0, I)$。

逆过程采样通过 Langevin 动力学实现：

$$
x_{t-\Delta t} \leftarrow x_t + \Delta t \cdot s_\theta(x_t, t) + \sqrt{2\Delta t} \, z, \quad z \sim \mathcal{N}(0, I)
$$

**（3）Flow Matching（Lipman et al., 2022; Pooladian et al., 2022）**

Flow Matching 将扩散模型推广到任意 ODE 路径。定义源分布 $p_0(x)$（如噪声）和目标分布 $p_1(x)$（如数据），构造插值路径：

$$
p_t(x) = \text{interp}(p_0, p_1; t), \quad x_t = (1-t) \cdot x_0 + t \cdot x_1 \quad \text{（线性插值）}
$$

学习的向量场 $v_\theta(x_t, t)$ 满足常微分方程：

$$
\frac{d x_t}{d t} = v_\theta(x_t, t), \quad x_0 \sim p_0, \quad x_1 \sim p_1
$$

训练损失简化为：

$$
\mathcal{L}(\theta) = \mathbb{E}_{t, x_t} \| v_\theta(x_t, t) - \dot{x}_t \|^2
$$

Flow Matching 的核心优势在于：（1）不依赖固定的噪声调度；（2）可以精确计算似然；（3）采样步数可以远少于 DDPM。

### 1.2 为什么扩散模型适合做规划

传统规划方法（如 A*、RRT）在离散、确定性问题中表现优异，但在高维、随机、部分可观察的序贯决策问题中面临挑战。扩散模型为规划问题带来了以下关键优势：

**（1）样本多样性（Sample Diversity）**

在规划中，最优轨迹往往不是唯一的。扩散模型通过条件生成，可以从整个解空间 $\mathcal{T}$ 中采样得到多样化的可行轨迹集合。这对于以下场景至关重要：
- 多解等价性：到达同一目标有无数条路径
- 探索-利用平衡：多样样本支持更好的探索
- 人机交互：提供多种方案供人类选择

**（2）分布覆盖性（Distribution Coverage）**

标准模型预测控制（MPC）依赖于单一的预测模型 $\hat{p}(s_{t+1} \mid s_t, a_t)$，对模型误差敏感。扩散模型固有的集成性质（每个采样路径对应不同的噪声路径）提供了隐式集成，减少对单一模型准确性的依赖。

**（3）非线性奖励/约束的表达能力**

现实世界的奖励函数往往是多峰（multimodal）的（如机器人可能选择绕过障碍或翻越障碍）。扩散模型可以自然地建模多峰分布，而基于均值预测的方法（如高斯策略）只能产生单峰分布。

### 1.3 Planning as Inference：将 MPC 转化为条件采样问题

经典的 MPC 可以表述为如下优化问题：

$$
\min_{a_0, \ldots, a_{H-1}} \sum_{t=0}^{H-1} r(s_t, a_t) \quad \text{s.t.} \quad s_{t+1} = f(s_t, a_t)
$$

其中 $H$ 是规划时域，$s_0$ 是初始状态，$r$ 是奖励函数，$f$ 是动力学模型。

**Planning as Inference** 将这个优化问题重新解释为条件生成问题。定义轨迹 $\tau = (s_0, a_0, s_1, a_1, \ldots, s_H)$，目标是根据初始状态 $s_0$ 和目标 $g$ 采样轨迹：

$$
p(\tau \mid s_0, g) = \frac{p(\tau) \cdot p(s_0, g \mid \tau)}{Z}
$$

将奖励函数转化为能量函数 $E(\tau) = -\sum_t r(s_t, a_t)$，则：

$$
p(\tau \mid s_0, g) \propto p(\tau) \cdot \exp\left( \sum_t r(s_t, a_t) \right) \cdot \prod_t p(s_{t+1} \mid s_t, a_t)
$$

其中 $\prod_t p(s_{t+1} \mid s_t, a_t)$ 是动力学转移似然（规划轨迹必须满足环境动力学约束）。

**关键洞察**：在 DDPM 中训练网络 $\epsilon_\theta(x_t, t)$ 近似 score function $\nabla_{x_t} \log p(x_t)$，在规划场景下，只需在推理时用条件 score $\nabla_{x_t} \log p(x_t \mid s_0, g)$ 引导采样，即可生成满足约束的轨迹。

---

## 2. Diffuser（Janner et al., 2022）

> **论文**：Janner, M. D., Du, Y., Tenenbaum, J. B., & Levine, S. (2022). *Planning with Diffusion for Flexible Behavior Synthesis*. ICML 2022.
> **核心思想**：将轨迹 $\tau$ 作为扩散模型的生成对象，条件于初始状态和目标进行条件生成。

### 2.1 扩散模型用于计划：$p(\tau \mid s_0)$

Diffuser 的核心思想是将完整的状态-动作轨迹 $\tau$ 视为扩散模型的生成对象。给定初始状态 $s_0$，学习轨迹分布 $p(\tau \mid s_0)$。

定义轨迹空间 $\mathcal{T} = \mathbb{R}^{(H+1) \cdot d_s + H \cdot d_a}$，其中 $d_s$ 是状态维度，$d_a$ 是动作维度，$H$ 是规划时域。

**正向扩散过程**（在轨迹空间上）：

$$
q(\tau_{1:T} \mid \tau_0) = \prod_{t=1}^{T} q(\tau_t \mid \tau_{t-1}), \quad q(\tau_t \mid \tau_{t-1}) = \mathcal{N}(\tau_t; \sqrt{1-\beta_t} \tau_{t-1}, \beta_t I)
$$

**反向过程**用神经网络近似：

$$
p_\theta(\tau_{t-1} \mid \tau_t) = \mathcal{N}\left(\tau_{t-1}; \mu_\theta(\tau_t, t), \Sigma_\theta(\tau_t, t)\right)
$$

在实际实现中，$\mu_\theta$ 通常参数化为噪声预测网络 $\epsilon_\theta(\tau_t, t)$。

### 2.2 轨迹级扩散：状态动作序列的联合建模

Diffuser 对整个轨迹进行联合建模，而非逐时刻建模状态或动作。这带来了以下优势：

**（1）全局一致性（Global Coherence）**

自回归方法（Autoregressive）固有的误差累积问题：$hat{s}_{t+1}$ 的微小误差会导致 $hat{a}_t$ 的误差，进而导致下一步误差放大。轨迹级扩散通过同时生成所有时刻的 $(s, a)$，天然保证全局一致性。

**（2）跨时间步的依赖关系**

许多规划问题存在跨时间步的约束（如燃料约束、安全区域约束），联合建模可以自然地捕捉这些依赖，无需显式建模。

**轨迹表示的维度问题**：

对于高维问题，轨迹维度可能非常大。设 $d_s = 100$，$d_a = 20$，$H = 100$，则 $\dim(\tau) = (101 \times 100) + (100 \times 20) = 12100$。直接在此高维空间进行扩散会带来计算挑战。

Diffuser 通过以下策略缓解这一问题：
- **分层扩散（Hierarchical Diffusion）**：先在低分辨率轨迹上生成粗略路径，再在局部时间窗口内细化
- **部分平坦化（Partial Flattening）**：对状态和动作分别在不同的时间分辨率上建模

### 2.3 分类器引导（Classifier Guidance）在计划中的应用

Classifier Guidance（Dhariwal & Nichol, 2021）是扩散模型条件生成的核心技术。在 Diffuser 中，条件信息（如目标状态 $g$）通过引导的方式注入。

**无条件 score 与条件 score 的关系**：

设 $p(\tau)$ 是无条件的轨迹分布，$p(g \mid \tau)$ 是在给定轨迹 $\tau$ 下目标 $g$ 被满足的概率。条件 score 为：

$$
\nabla_\tau \log p(\tau \mid g) = \nabla_\tau \log p(\tau) + \nabla_\tau \log p(g \mid \tau)
$$

**Classifier Guidance** 用一个独立的分类器 $f_\phi(g \mid \tau_t, t)$ 来近似 $p(g \mid \tau_t)$，则在采样过程中：

$$
\hat{\epsilon}_\theta(\tau_t, t) = \epsilon_\theta(\tau_t, t) - s \cdot \nabla_\tau \log p(g \mid \tau_t) \approx \epsilon_\theta(\tau_t, t) - s \cdot \nabla_\tau f_\phi(g \mid \tau_t, t)
$$

其中 $s$ 是引导强度（guidance scale），$\Sigma_t$ 是逆过程方差。$s=0$ 对应无条件生成，$s$ 越大生成的轨迹越接近目标。

**在规划中的应用**：

- **目标状态约束**：$g$ 可以是目标状态集（如 "到达位置 $(x, y)$"）
- **安全约束**：$g$ 可以表示安全约束的满足（如 "避障"）
- **任务描述**：$g$ 可以是语言描述或图像目标

### 2.4 条件扩散模型：$p(\tau \mid s_0, g)$

更一般地，Diffuser 同时以初始状态 $s_0$ 和目标 $g$ 为条件：

$$
p(\tau \mid s_0, g) = \text{Diffusion Model}(\tau; s_0, g)
$$

具体实现中，$s_0$ 和 $g$ 通过以下方式注入：

1. **拼接（Concatenation）**：将 $s_0$ 和 $g$ 作为额外的 "token" 拼接到轨迹的对应位置
2. **交叉注意力（Cross-Attention）**：在 U-Net / Transformer 的注意力层中引入条件编码
3. **自适应归一化（Adaptive Normalization）**：如 AdaIN，将条件信息注入生成过程

**条件 score 的推导**：

$$
\nabla_\tau \log p(\tau \mid s_0, g) = \nabla_\tau \log p(\tau) + \nabla_\tau \log p(s_0, g \mid \tau)
$$

第一项由标准的扩散模型近似，第二项由条件目标函数给出。对于确定性的动力学约束 $s_{t+1} = f(s_t, a_t)$，有：

$$
p(s_0, g \mid \tau) = \mathbb{1}{\tau \text{ 满足动力学约束}} \cdot \mathbb{1}{s_0 \text{ 匹配}} \cdot \mathbb{1}{g \text{ 匹配}}
$$

在实际实现中，动力学约束通常作为硬约束在采样后检查，不满足的轨迹被丢弃或重新采样。

---

## 3. Planning with Diffusion 的算法步骤

### 3.1 轨迹表示：$\tau = (s_0, a_0, s_1, a_1, \ldots, s_H)$

定义长度为 $H$ 的轨迹 $\tau$ 由状态序列和动作序列交叉组成：

$$
\tau = (s_0, a_0, s_1, a_1, \ldots, s_{H-1}, a_{H-1}, s_H) \in \mathbb{R}^{(H+1) \cdot d_s + H \cdot d_a}
$$

在离散时间系统中，$s_{t+1} = f(s_t, a_t)$。在连续时间系统中，可以将控制序列 $\mathbf{u}(t)$ 参数化为基函数的线性组合。

**扁平化表示（Flattened Representation）**：

将轨迹展平为一个长向量：

$$
\tilde{\tau} = [s_0; a_0; s_1; a_1; \ldots; s_H] \in \mathbb{R}^{D}, \quad D = (H+1)d_s + H d_a
$$

扩散过程在此 $D$ 维空间中进行。

**时间感知的噪声调度**：

在标准 DDPM 中，噪声调度 $\beta_1, \ldots, \beta_T$ 是固定的。在规划场景中，不同时间步的鲁棒性需求不同：
- 近端时间步（$t$ 接近 $0$）：需要精确的动作选择，噪声应较小
- 远端时间步（$t$ 接近 $H$）：规划存在不确定性，可以容忍较大噪声

可以通过非均匀的 $\beta_t$ 调度来反映这一直觉，例如：

$$
\beta_t = \beta_{\min} + (\beta_{\max} - \beta_{\min}) \cdot \frac{t}{T} \cdot w(t)
$$

其中 $w(t)$ 是时间相关的加权函数。

### 3.2 反向过程采样与指导

**标准反向过程**（DDPM采样）：

给定 $\tau_T \sim \mathcal{N}(0, I)$，从 $t=T$ 到 $t=1$ 迭代：

$$
\tau_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( \tau_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}} \epsilon_\theta(\tau_t, t) \right) + \sqrt{\beta_t} \, z, \quad z \sim \mathcal{N}(0, I)
$$

**条件引导采样**（Classifier Guidance）：

为在 $s_0$ 和 $g$ 的条件下采样，对反向过程每一步的均值进行修正：

$$
\hat{\epsilon} = \epsilon_\theta(\tau_t, t) - c \cdot \nabla_\tau \log p(g \mid \tau_t)
$$

其中 $c$ 是引导系数。当 $p(g \mid \tau_t)$ 由神经网络分类器 $f_\phi$ 参数化时：

$$
\hat{\epsilon} = \epsilon_\theta(\tau_t, t) - c \cdot \nabla_\tau \log p(g \mid \tau_t)
$$

当 $p(g \mid \tau_t)$ 由神经网络分类器 $f_\phi$ 参数化时：

**轨迹提取**：

采样得到 $\tau_0$ 后，提取动作序列：

$$
a_t = \text{Proj}_a(\tau_0[t]), \quad t = 0, 1, \ldots, H-1
$$

其中 $\text{Proj}_a$ 是动作空间的投影（如果动作是离散的或受约束的）。

### 3.3 与 Model Predictive Control（MPC）的关系

**古典 MPC**：

MPC 通过以下优化问题在每个时间步 $t$ 选取动作：

$$
a_t^* = \arg\min_{a_t, \ldots, a_{t+H-1}} \sum_{k=t}^{t+H-1} \hat{r}(s_k, a_k) \quad \text{s.t.} \quad s_{k+1} = \hat{f}(s_k, a_k)
$$

其中 $\hat{r}$ 和 $\hat{f}$ 是学习到的奖励和动力学模型。仅执行 $a_t^*$，然后在 $t+1$ 重新规划（replanning）。

**扩散 MPC（Diffusion MPC）**：

Diffuser 将 MPC 的优化问题转化为条件生成问题：

$$
\{a_t^*, \ldots, a_{t+H-1}^*\} \sim p(\tau \mid s_t, g)
$$

关键区别在于：

| 特性 | 古典 MPC | 扩散 MPC |
|------|---------|---------|
| 优化目标 | 单点估计（最优轨迹） | 分布采样（多样化轨迹） |
| 非凸处理 | 需凸近似或局部搜索 | 扩散过程自然处理多峰分布 |
| 约束处理 | 显式惩罚或投影 | 通过引导隐式满足 |
| 计算复杂度 | O($H \cdot$ 优化器迭代) | O($T \cdot$ U-Net 前向传播) |

**在线规划（Online Planning）**：

在实时控制场景中，需要在 $t$ 时刻迅速得到 $a_t$。Diffuser 支持以下策略：

1. **部分采样（Partial Sampling）**：扩散规划核心优势是全局联合建模，截断采样会退回自回归误差累积弊端。实际做法是采样完整轨迹但只执行前几步，然后重新规划（replan）。
2. **蒸馏（Distillation）**：将扩散采样蒸馏为一个单步策略网络 $\pi_\theta(s_t)$
3. **剪枝（Pruning）**：在采样过程中剪枝低概率轨迹，保留少数候选路径

---

## 4. 软意图引导（Soft Intent Guidance）

### 4.1 目标条件化与意图空间

**意图（Intent）** 是比目标（Goal）更抽象的概念。目标通常是确定的状态或状态空间，而意图是关于目标的偏好描述，可以用语言、图像或偏好向量表示。

**意图空间（Intent Space）** $\mathcal{I}$ 是所有可能的意图描述的集合。典型的意图空间包括：

- **语言意图**："向前移动并绕过障碍物" $\rightarrow$ 嵌入到语言模型空间
- **视觉意图**：目标图像 $\rightarrow$ 嵌入到视觉编码器空间
- **偏好向量**：$v \in \mathbb{R}^d$ 表示用户对不同状态属性的偏好权重

**软意图引导**指通过意图信息在采样过程中引导轨迹生成，而不强制约束。形式化地：

$$
\hat{\epsilon}_\theta(\tau_t, t; i) = \epsilon_\theta(\tau_t, t) - \lambda \cdot \nabla_\tau \log p(i \mid \tau_t)
$$

其中 $i \in \mathcal{I}$ 是意图，$\lambda$ 控制引导强度。

### 4.2 软奖励与硬约束的处理

**硬约束（Hard Constraints）** 是必须满足的约束，如安全区域、物理限制。在扩散规划中，硬约束通过以下方式处理：

1. **拒绝采样（Rejection Sampling）**：生成轨迹后检查约束，不满足则丢弃
2. **约束投影（Projection）**：将采样轨迹投影到可行集
3. **无穷小引导（Infinitesimal Guidance）**：增大引导系数使约束几乎必然满足

**软奖励（Soft Rewards）** 是偏好性而非强制性的目标，如 "尽量靠近目标" 而非 "必须在目标点"。软奖励通过 Classifier Guidance 的 $\lambda$ 参数连续调节：

- $\lambda = 0$：无意图引导，完全由数据驱动
- $\lambda \rightarrow \infty$：意图引导主导，约束趋近硬约束
- $0 < \lambda < \infty$：软引导，在满足意图的概率和轨迹多样性之间权衡

**数学上**，设 $C(\tau)$ 是硬约束集合（如 $C(\tau) = 1$ 如果 $\tau$ 满足所有硬约束），$R(\tau) = \sum_t r(s_t, a_t)$ 是累积奖励。优化的后验分布为：

$$
p(\tau \mid s_0) \propto \underbrace{p(\tau)}_{\text{先验（数据驱动）}} \cdot \underbrace{\exp(\alpha R(\tau))}_{\text{软奖励}} \cdot \underbrace{\mathbb{1}_{C(\tau)=1}}_{\text{硬约束}}
$$

当数据分布 $p(\tau)$ 由扩散模型建模时，上式可以通过条件采样直接实现。

### 4.3 多目标规划中的 Pareto 前沿

多目标规划问题涉及同时优化多个可能冲突的目标：

$$
\max_{\tau} \quad [R_1(\tau), R_2(\tau), \ldots, R_K(\tau)]
$$

其中 $R_k$ 是第 $k$ 个目标函数。

**Pareto 最优性**定义：轨迹 $\tau^*$ 是 Pareto 最优的，当且仅当不存在另一轨迹 $\tau'$ 使得 $R_k(\tau') \geq R_k(\tau^*)$ 对所有 $k$ 成立，且至少有一个严格不等式成立。

**扩散模型生成 Pareto 前沿**：

Diffuser 可以通过在意图空间中插值来生成 Pareto 前沿上的多个轨迹。设两个极端意图 $i_1$ 和 $i_2$ 分别代表目标 $R_1$ 优化和目标 $R_2$ 优化：

$$
i(\lambda) = \text{lerp}(i_1, i_2; \lambda), \quad \lambda \in [0, 1]
$$

通过变化 $\lambda$，可以生成沿 Pareto 前沿的轨迹集合：

$$
\{\tau(\lambda) \sim p(\tau \mid s_0, i(\lambda)) \mid \lambda \in [0, 1]\}
$$

这一性质对于需要人类在多个合法选项中选择的应用场景尤为重要。

---

## 5. Decision Transformers vs 扩散规划

### 5.1 Decision Transformer：自回归建模

**Decision Transformer（DT）**（Chen et al., 2021）将序列决策问题建模为序列生成问题。给定历史轨迹片段：

$$
\sigma_t = (s_0, a_0, r_1, s_1, a_1, r_2, \ldots, r_t, s_t)
$$

DT 通过自回归 Transformer 建模：

$$
\hat{a}_t = \text{Transformer}([G_t; \sigma_t])
$$

其中 $G_t = \sum_{k=t}^H r_k$ 是从当前时刻到结束的**剩余累计回报**，$\sigma_t = (s_0, a_0, r_1, \ldots, s_t)$ 是历史状态-动作序列。

**训练目标**是最小化动作预测的交叉熵：

$$
\mathcal{L}(\theta) = \mathbb{E}_{\sigma, a} \left[ -\log \pi_\theta(a_t \mid \sigma_t) \right]
$$

### 5.2 扩散规划：全局一致性的采样方法

扩散规划通过同时采样完整轨迹 $\tau$ 而非逐时刻预测动作，实现全局一致性。这种方法在以下方面与 DT 不同：

| 维度 | Decision Transformer | 扩散规划 |
|------|---------------------|---------|
| **生成方式** | 自回归逐时刻预测 | 全局同时采样 |
| **误差累积** | 存在（一步错误影响后续） | 不存在（全局建模） |
| **多样性** | 确定性输出或多峰策略 | 天然多峰采样 |
| **长时域依赖** | 通过长上下文注意力建模 | 通过联合建模直接捕获 |
| **计算效率** | 高（单步推理） | 低（需要迭代采样） |
| **在线学习** | 易于增量更新 | 需要重新训练或微调 |

### 5.3 两者的优缺点比较

**Decision Transformer 的优势**：

1. **推理速度快**：单步自回归生成，适合实时控制
2. **可解释性强**：逐时刻决策逻辑清晰
3. **在线适应**：可以通过微调快速适应新任务
4. **长期记忆**：通过注意力机制有效利用长历史信息

**Decision Transformer 的劣势**：

1. **误差累积**：自回归模型中早期误差会在后期放大
2. **多峰表达能力有限**：均值预测难以覆盖多峰解空间
3. **规划范围受限**：需要预设历史窗口大小

**扩散规划的优势**：

1. **全局一致性**：联合建模保证跨时间步的一致性
2. **多峰采样**：天然输出多样化轨迹集合
3. **灵活的约束注入**：通过引导机制非侵入式添加约束
4. **无需显式动力学期望**：扩散模型直接学习条件分布

**扩散规划的劣势**：

1. **采样速度慢**：需要 $T$ 步迭代（DDPM 通常 $T=1000$）
2. **计算成本高**：U-Net / Transformer 在高维轨迹空间中的前向传播代价大
3. **实时性挑战**：在高频控制场景中难以部署

**融合方向**：

两种范式的融合是前沿研究方向：
- **DT-Diffusion 混合**：用 DT 提供初始轨迹，用扩散模型 refinement
- **扩散式决策Transformer**：在 Transformer 架构中引入扩散损失
- **层级规划**：DT 负责高层意图规划，扩散模型负责低层轨迹生成

---

## 6. 扩散模型的规划应用于控制

### 6.1 引力增强采样（Gravity-Informed Sampling）

引力增强采样是一类将物理先验注入扩散采样的技术。在机器人控制中，物理规律（如重力、摩擦）是已知的硬约束，可以用来加速采样或提高轨迹质量。

**能量函数形式的物理先验**：

定义物理能量 $E_{\text{physics}}(\tau)$，如：

$$
E_{\text{physics}}(\tau) = \sum_{t=0}^{H-1} \left[ m g h(s_t) + \frac{1}{2} m \|v_t\|^2 + \sum_j F_j(s_t, a_t) \cdot d_j(s_t) \right]
$$

其中 $h(s_t)$ 是高度，$v_t$ 是速度，$F_j$ 是第 $j$ 个约束力，$d_j$ 是距离函数。

引力增强采样修正 score（物理势能满足力 = −势能梯度）：

$$
\hat{s}_\theta(\tau_t, t) = s_\theta(\tau_t, t) - \nabla_\tau E_{\text{physics}}(\tau_t)
$$

这等价于在无条件 score 上添加物理势场的梯度，在采样过程中将轨迹 "拉向" 物理可行的流形。

**重力引导采样（Gravity-Guided Sampling）** 特别适用于足式机器人和无人机控制：

- 在足式机器人中，ZMP（Zero Moment Point）约束形成可行站立区域
- 在无人机中，飞行走廊约束限制了在自由空间中的轨迹

通过将此类物理约束编码为引力场项，可以显著提高采样效率。

### 6.2 交叉熵方法（CEM）与扩散的融合

**交叉熵方法（Cross-Entropy Method, CEM）** 是一种基于采样的优化算法，通过维护高斯分布的精英集合来逐步逼近最优解。在每次迭代中：

1. 从当前分布 $\mathcal{N}(\mu, \Sigma)$ 采样 $N$ 个样本
2. 评估目标函数，选取 top-$k$ 精英样本
3. 用精英样本更新分布参数 $\mu, \Sigma$

**CEM 与扩散的融合**（Diffusion-CEM）利用 CEM 的精英采样思想来加速扩散采样：

**算法：Diffusion-CEM**

```
输入：初始状态 s_0，目标 g，扩散模型 εθ，迭代数 M，引导系数 c
输出：优化轨迹 τ*

1. 初始化噪声分布：μ ← 0, Σ ← I
2. FOR iter = 1 to M DO
3.     采样轨迹噪声：ε_i ~ N(μ, Σ), i = 1, ..., N
4.     生成候选轨迹：τ_i = sampler(ε_i; s_0, g, c)
5.     评估轨迹质量：J_i = J(τ_i)
6.     选取精英轨迹：E = {τ_i | J_i ≥ quantile(J, ρ)}
7.     拟合精英分布：μ, Σ = fit_gaussian(E)
8. END FOR
9. RETURN τ_0 = mean(E) 或 argmax J_i
```

其中 $\rho \in (0, 1)$ 是精英比例，$\text{quantile}$ 是分位数函数。

**为什么融合有效**：

标准扩散采样的噪声是各向同性的高斯噪声，在高维空间中有效样本比例极低（维度灾难）。CEM 通过逐步拟合目标分布的形状，将采样推向高奖励区域，减少无效采样。

**理论分析**：

设目标分布 $p(\tau) \propto \exp(J(\tau))$，其中 $J$ 是累积奖励。标准采样等价于在 $t=T$ 的纯噪声分布上施加分数场驱动的梯度流。CEM 等价于用高斯混合近似 $p(\tau)$，在每次迭代中用精英样本重新估计高斯参数。

当 $M \rightarrow \infty$ 且 $N \rightarrow \infty$ 时，Diffusion-CEM 的极限分布为：

$$
\lim_{M,N \to \infty} \mu = \arg\max_\tau J(\tau)
$$

即收敛到最优轨迹。

### 6.3 实时规划的可行性分析

实时规划要求在严格的时限内（通常 $10-100$ ms）给出控制决策。扩散规划的计算瓶颈主要在于：

**计算瓶颈分析**：

| 操作 | 时间复杂度 | 典型延迟 |
|------|-----------|---------|
| 单步 U-Net 前向传播 | $O(D \cdot d_{\text{model}})$ | $1-10$ ms |
| DDPM 完整采样（$T=1000$ 步） | $O(T \cdot D \cdot d_{\text{model}})$ | $1-10$ s |
| 动作提取 | $O(H)$ | $<1$ ms |

**加速策略**：

1. **步数减少（Step Reduction）**：
   - DDIM 采样将 $T=1000$ 降至 $T=20-50$ 步，延迟降至 $20-50$ ms
   - Flow Matching 可进一步降至 $T=5-10$ 步

2. **蒸馏（Distillation）**：
   - 将扩散模型蒸馏为单步策略网络 $\pi_\theta(s_t)$
   - 训练损失：$\mathcal{L} = \mathbb{E}_{\tau, s_t} [\|\pi_\theta(s_t) - a_t^*\|^2]$
   - 蒸馏后延迟降至 $<1$ ms

3. **硬件加速**：
   - GPU 并行采样：同时生成多个候选轨迹
   - 专用加速器：Google EdgeTPU、NVIDIA TensorRT

4. **早停（Early Stopping）**：
   - 在采样早期检测低质量轨迹并丢弃
   - 仅保留和精化少量精英轨迹

**实时场景下的可行方案**：

对于 $100$ ms 级别的控制周期，当前可行的方案是：
- **DDIM + 蒸馏**（$T \approx 20$ 步，单步网络）：延迟 $\approx 20-50$ ms
- **部分轨迹采样**（只采样前 $5$ 步）：延迟 $\approx 10-20$ ms
- **预计算+在线调整**：离线预计算轨迹库，在线通过意图引导选择和调整

---

## 7. 前沿进展

### 7.1 3D 场景规划（Pointcloud 输入）

3D 感知规划是机器人从仿真走向真实世界的关键能力。传统的 3D 规划方法依赖于明确的地图构建（SLAM），而扩散规划可以直接从点云输入生成可行轨迹。

**点云编码的挑战**：

点云 $\mathcal{P} = \{p_1, \ldots, p_N\} \subset \mathbb{R}^3$ 是稀疏的、非结构化的。处理点云的常用方法：

- **PointNet 编码**：$f_\phi(\mathcal{P}) = \text{MLP}(\text{MAXPOOL}(\text{MLP}(p_i)))$
- **Transformer 编码**：通过自注意力建模点间关系
- **体素化（Voxelization）**：将点云转化为 3D 体素网格，利用 3D CNN 处理

**3D 场景的扩散规划架构**：

```
点云 P ──→ PointNet/3D CNN ──→ 场景编码 c
                                      │
状态 s_t ──→ 轨迹编码 εθ(τ_t, t) ──→ 联合注意力 ──→ score(τ_t|t)
                                      ↑
                              目标 g 编码
```

**Collision-Free 轨迹生成**：

安全规划的核心是避障。设 $\mathcal{C} \subset \mathbb{R}^3$ 是障碍物占据的空间，碰撞约束为：

$$
C(\tau) = 1 \iff \forall t, \forall p \in \text{robot}, \ p + s_t \notin \mathcal{C}
$$

在扩散采样中，通过以下损失强制满足碰撞约束：

$$
\mathcal{L}_{\text{safety}} = \mathbb{E}_{t, \tau} \left[ \max(0, d_{\text{min}}(\tau_t) - \delta)^2 \right]
$$

其中 $d_{\text{min}}(\tau_t)$ 是轨迹 $\tau_t$ 到最近障碍物的距离，$\delta$ 是安全裕度。

### 7.2 安全关键系统的扩散规划

安全关键系统（Safety-Critical Systems）如自动驾驶、医疗机器人，对安全性有极高的要求。扩散规划在安全关键场景中的核心挑战和解决方案：

**挑战 1：约束满足的保证**

标准扩散采样提供的是 "probabilistic guarantee"（概率保证），但安全关键系统需要 "hard guarantee"（硬保证）。

**解决方案：Control Barrier Functions (CBF) + 扩散**

CBF 定义了安全集合 $\mathcal{C}$ 的特性函数 $h(x)$，满足：

$$
h(x) \geq 0 \implies x \in \mathcal{C}, \quad \dot{h}(x) \geq -\alpha h(x)
$$

**CBF 与扩散的正确融合方式**：CBF 是**修正规划输出的轨迹**，而非修改扩散采样的分数/噪声。扩散先生成粗轨迹后，再用 CBF 投影至安全可行域。在采样后处理阶段：

$$
\tau_{\text{safe}} = \text{Proj}_{\text{CBF}}(\tau_0; h) = \arg\min_{\tau \in \mathcal{C}} \|\tau - \tau_0\|
$$

而非直接在反向扩散迭代中融合 CBF 梯度。

**挑战 2：分布外（Out-of-Distribution）情况**

训练数据中未见过的场景可能导致扩散模型生成不安全轨迹。

**解决方案：安全增强训练**

在训练数据中人为注入对抗场景，并标注安全/不安全的二值标签。训练安全分类器 $f_\phi^{\text{safe}}$，在推理时：

$$
\hat{\epsilon} \leftarrow \epsilon - \lambda_{\text{safe}} \cdot \nabla \log p(\text{safe} \mid \tau)
$$

### 7.3 扩散模型与 MCTS 结合

**蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）** 通过构建搜索树来选择最优动作，核心包含四个步骤：

1. **选择（Selection）**：从根节点出发，选择最优子节点
2. **扩展（Expansion）**：添加新节点
3. **模拟（Simulation）**：从新节点出发随机 rollout
4. **反向传播（Backpropagation）**：更新节点统计数据

**扩散增强的 MCTS（Diffusion-Augmented MCTS）**：

标准 MCTS 在每个节点需要估计子节点的 Q 值，这通常通过 rollout 或价值网络近似。扩散模型可以提供更准确的局部规划：

**算法：Diffusion-Augmented MCTS**

```
输入：状态 s，扩散模型 εθ，预算 B（模拟次数）
输出：最优动作 a*

1. IF s 是叶节点 THEN RETURN None END IF
2. FOR each action a ∈ A(s) DO
3.     假设下一状态 s' = f(s, a)
4.     用扩散模型生成局部轨迹：τ_a ~ p(τ|s, a)  （条件于特定动作）
5.     评估轨迹回报：Q(s, a) ≈ J(τ_a)
6. END FOR
7. 用 UCB 选择动作：a* = argmax_a Q(s, a) + c·√(ln N(s)/N(s, a))
8. RETURN a*
```

**为什么扩散模型增强 MCTS 有效**：

- **局部规划精度**：在每个节点用扩散模型做局部 MPC，减少对全局价值函数的依赖
- **先验指导**：用扩散模型的 score 作为 MCTS 的先验策略，优先探索高概率高质量的分支
- **并行化**：扩散采样天然支持批处理，可以在树构建过程中并行生成多个子节点的轨迹

**扩散 MCTS 的理论收敛性**：

设 $Q^*(s, a)$ 是真实的最优 Q 值，$\hat{Q}(s, a)$ 是扩散增强的 Q 估计，则估计误差：

$$
|Q^*(s, a) - \hat{Q}(s, a)| \leq \underbrace{|Q^* - \hat{Q}_{\text{MCTS无权值}}|}_{\text{标准 MCTS 误差}} + \underbrace{\mathbb{E}[|J(\tau) - J(\tau^*)|]}_{\text{局部规划误差}}
$$

由于扩散模型提供的局部规划通常比单步 rollout 更准确，第二项误差显著减小，整体估计精度提升。

---

## 参考文献

1. Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. *NeurIPS*.
2. Song, Y., et al. (2021). Score-Based Generative Modeling through Stochastic Differential Equations. *ICLR*.
3. Lipman, Y., et al. (2022). Flow Matching for Generative Modeling. *ICLR*.
4. Janner, M. D., et al. (2022). Planning with Diffusion for Flexible Behavior Synthesis. *ICML*.
5. Chen, L., et al. (2021). Decision Transformer: Reinforcement Learning via Sequence Modeling. *NeurIPS*.
6. Dhariwal, P., & Nichol, A. (2021). Diffusion Models Beat GANs on Image Synthesis. *NeurIPS*.
7. Graves, A., et al. (2023). Stochastic Trajectory Prediction via Motion Indeterminacy Diffusion. *CVPR*.
8. Liu, W., et al. (2023). Diffusion Probabilistic Models for Collision-Free Trajectory Planning. *IROS*.
9. Ajay, A., et al. (2023). Conditioning Predictive Transformers for Planning. *CoRL*.
10. Xia, Y., et al. (2023). Learning to Sample with Cross-Entropy Method in Diffusion Models. *NeurIPS*.

---

## 附录：关键公式汇总

**扩散模型前向过程**：
$$q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$$

**逆过程均值（Ho et al.）**：
$$\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}} \epsilon_\theta(x_t, t) \right)$$

**Classifier Guidance**（标准形式，无多余方差项）：
$$\hat{\epsilon} = \epsilon_\theta - s \cdot \nabla_\tau \log p(g \mid \tau_t)$$

**Pareto 前沿意图插值**：
$$i(\lambda) = \text{lerp}(i_1, i_2; \lambda)$$

**引力增强 score**（力 = −势能梯度）：
$$\hat{s}_\theta(\tau_t, t) = s_\theta(\tau_t, t) - \nabla_\tau E_{\text{physics}}(\tau_t)$$