---
title: Rectified Flow：路径直线化与少步生成
draft: false
tags:
  - Rectified-Flow
  - 扩散模型
  - 生成模型
  - 深度学习
---

# Rectified Flow：路径直线化与少步生成的数学理论

---

## 一、从 Flow Matching 到 Rectified Flow：问题的引入

### 1.1 Flow Matching 的核心成就与遗留问题

在上一份笔记（Flow Matching）中，我们已经看到 Flow Matching 如何将连续流模型的训练从"解 ODE"转变为"向量场回归"。其核心思想是：

1. 预先定义一条从噪声分布 $p_0$ 到数据分布 $p_1$ 的**概率路径** $p_t$
2. 通过条件向量场 $u_t(x_t | x_1)$ 的回归来训练向量场 $v_\theta$

**遗留问题**：即使训练目标简化，推理时我们仍然需要通过 ODE Solver 来生成样本。对于非线性路径，ODE 求解可能需要数十甚至数百步才能保证精度。

### 1.2 核心观察：为什么路径"弯曲"会导致采样效率低下？

考虑一个简单的一维例子。假设：

- 起点 $x_0 \sim \mathcal{N}(-5, 1)$
- 终点 $x_1 \sim \mathcal{N}(5, 1)$
- 路径非线性：$x_t = \tanh((1-t) \cdot \text{arctanh}(x_0) + t \cdot \text{arctanh}(x_1))$

当用 Euler 方法求解时：
$$x_{t+\Delta t} = x_t + \Delta t \cdot v_\theta(x_t, t)$$

如果路径弯曲，相邻的两个点 $x_t$ 和 $x_{t+\Delta t}$ 之间的割线与真实路径切线存在较大偏差。这个偏差在每一步都会累积。

**数学上**：Euler 方法的局部截断误差为 $O(\Delta t^2)$，全局误差为 $O(\Delta t)$。当 $\Delta t$ 增大时（减少步数），误差急剧增加。

### 1.3 Rectified Flow 的核心思想

**Rectified Flow** 的核心观察是：

> 如果我们能够让粒子从 $x_0$ 到 $x_1$ 的轨迹**沿着直线路径**运动，那么 ODE 求解就可以退化为单步仿射变换，完全不需要迭代。

一个沿直线运动的粒子满足：
$$x_t = (1-t)x_0 + t x_1$$

对应的**单轨迹内**速度场是**常数**：
$$\frac{d x_t}{d t} = x_1 - x_0 = \text{const}$$

此时，Euler 方法的单步更新就是**精确解**（针对该固定起点终点对）：
$$x_1 = x_0 + (x_1 - x_0)$$

其中 $v_\theta(x_0) = x_1 - x_0$。

**关键澄清**：以上结论仅对**固定的一组起点终点对**$(x_0, x_1)$成立。全局层面，不同样本对对应不同的位移向量，因此学习到的全局向量场$v_\theta(x, t)$依旧是关于状态$x$的非线性函数，**全局 Lipschitz 常数 $L \neq 0$**。直线路径无法做到理论无条件零误差单步生成，仅能大幅降低积分误差、放宽步长限制。

---

## 二、Rectified Flow 的数学框架

### 2.1 问题形式化

**目标**：学习一个向量场 $v_\theta: \mathbb{R}^D \times [0,1] \to \mathbb{R}^D$，使得从 $x_0 \sim p_0$ 出发， ODE $\frac{d x(t)}{d t} = v_\theta(x(t), t)$ 的解 $x(1)$ 分布在 $p_1$ 上。

**传统方法的局限**：即使 $v_\theta$ 足够强大，可以精确拟合目标分布，推理时的 ODE 求解仍然可能不精确。

**Rectified Flow 的洞见**：与其训练一个"弯曲"的向量场然后祈祷 ODE Solver 能拟合它，不如**直接让向量场沿着直线路径运动**。

### 2.2 线性插值路径

最简单的直线路径定义：

$$x_t = (1-t) x_0 + t x_1, \quad t \in [0,1]$$

**验证**：对两边求导：
$$\frac{d x_t}{d t} = -x_0 + x_1 = x_1 - x_0$$

这确实是一个常数向量场！无论 $x_t$ 当前在什么位置，速度永远指向 $x_1$ 的方向，大小等于 $|x_1 - x_0|$。

### 2.3 边际分布与曲率

**问题**：如果我们强制所有粒子走直线，那还需要学习吗？

**答案**：是的！因为我们不知道 $\left(x_0, x_1\right)$ 的配对关系。训练数据通常是 $\left\{ x_0^i, x_1^j \right\}$ 独立采样的，我们需要学习一个**从噪声到数据的映射**。

**定义轨迹曲率**（标量形式）：

对于一条参数化路径 $x(t)$，标量曲率定义为：
$$\kappa(t) = \frac{\|x''(t)\|}{\|x'(t)\|^3}$$

对于直线路径 $x(t) = (1-t)x_0 + t x_1$，有：
$$x'(t) = x_1 - x_0, \quad x''(t) = 0 \quad \Rightarrow \quad \kappa(t) = 0$$

**结论**：直线轨迹的曲率恒为零。

### 2.4 最优传输视角（可选优化）

**为什么独立采样的路径可能造成分布偏移？**

设 $x_0 \sim p_0$，$x_1 \sim p_1$ 独立采样。考虑两个起点 $x_0^a$ 和 $x_0^b$，以及它们对应的直线轨迹：

$$x_t^a = (1-t)x_0^a + t x_1^a$$
$$x_t^b = (1-t)x_0^b + t x_1^b$$

如果 $x_1^a \approx x_1^b$ 且 $x_0^a \neq x_0^b$，这两条轨迹会在某个中间点相交。

**澄清**：不同初始条件的轨迹相交并不违反 ODE 唯一性定理。**Picard-Lindelöf 唯一性**要求的是**同一个初始条件**仅对应唯一一条演化轨迹，而非禁止不同起点轨迹相交。高维生成流中，多条轨迹交汇是正常现象。

**Re-flow 真正要解决的问题**是**流折叠（Path Crossing）导致边际分布偏移**：当多个起点收敛到同一个终点时，边际分布 $p_t$ 会偏离目标分布。Re-flow 通过**重边缘化（Re-marginalization）**保持演化全程的边际一致性。

**最优传输（Optimal Transport）配对**（可选的高阶优化）：

最优传输理论提出，将 $\left(x_0, x_1\right)$ 按某种最优方式配对。Monge 问题：
$$\min_{\pi \in \Pi(p_0, p_1)} \int c(x_0, x_1) d\pi(x_0, x_1)$$

其中 $c(x_0, x_1) = \| x_0 - x_1 \|^2$ 是代价函数，$\Pi$ 是边际为 $p_0, p_1$ 的联合分布集合。

**重要说明**：原生 RF 最核心的优势是**无需任何精确 OT 配对**，随机独立采样配对是工业界主流用法。OT 配对仅作为高阶优化方案，用于精细化训练，而非基础必备条件。Flux、SD3 等大模型均未使用 Sinkhorn OT 配对。

---

## 三、Re-flow 流程：迭代路径直线化

### 3.1 固定点方程

**关键问题**：什么样的向量场能够产生直线轨迹？

**定理（Rectified Flow 固定点）**：

设向量场 $v^*$ 满足：
$$v^*(x_t) = \mathbb{E}_{x_1 \sim p_1 | x_t} \left[ \frac{x_1 - x_t}{1-t} \right]$$

其中条件分布 $p_1 | x_t$ 是在给定当前位置 $x_t$ 时，终点 $x_1$ 的后验分布。

则 ODE 轨迹 $\frac{d x}{d t} = v^*(x(t))$ 产生直线运动。

**证明**：

从 $x_0$ 出发的轨迹满足：
$$x(t) = x_0 + t \cdot \mathbb{E}[x_1 - x_0 | x_0] = (1-t)x_0 + t \cdot \mathbb{E}[x_1 | x_0]$$

如果配对是最优传输映射，即 $x_1 = T(x_0)$，则：
$$x(t) = (1-t)x_0 + t \cdot T(x_0)$$

这正是一条直线路径！

### 3.2 Re-flow 算法

**Re-flow 全称 Re-marginalized Flow（重边缘化流）**，其核心目标是**保证演化全程边际分布始终匹配目标分布**。

**Algorithm: Re-flow**

**输入**：数据分布 $p_{data}$，迭代次数 $K$，神经网络 $v_\theta$

**初始化**：
1. 采样配对数据 $\left\{ (x_0^i, x_1^i) \right\}$（初始时独立采样）
2. 定义线性路径：$x_t^i = (1-t)x_0^i + t x_1^i$

**for** $k = 1$ to $K$ **do**:
1. **训练当前向量场**：
   $$\theta^{(k)} = \arg\min_\theta \mathbb{E}_{t, i} \left[ \left\| v_\theta^{(k-1)}(x_t^i, t) - (x_1^i - x_0^i) \right\|^2 \right]$$
   其中 $v_\theta^{(k-1)}$ 是上一轮固定的向量场

2. **生成轨迹样本**（如果 $k < K$）：
   - 使用当前向量场 $v_{\theta^{(k)}}$ 解 ODE
   - 从 $x_0$ 积分到 $t=1$，得到轨迹 $\left\{ x(t)^i \right\}$
   - 用生成样本的轨迹终点作为新终点：$x_1'^i = x(1)^i$

3. **重新定义路径**：
   - 令 $x_t^i \leftarrow (1-t)x_0^i + t \cdot x_1'^i$（新的直线插值）
   - 此步骤用生成样本重构造无偏插值路径，修正随机独立配对带来的分布偏移

**输出**：训练好的向量场 $v_{\theta^{(K)}}$

### 3.3 收敛性分析

**直线路径与误差的关系**：

对于 Euler 方法，当路径曲率 $\kappa$ 较小时，局部误差约为：
$$\text{Error} \approx \frac{1}{2} \kappa \cdot (\Delta t)^2$$

**关键观察**：
- 当 $\kappa \to 0$（直线路径）时，误差 $\to 0$
- 即使 $\Delta t$ 很大（如 $\Delta t = 0.1$），误差仍然很小
- 这意味着我们可以**用 10 步而不是 1000 步**完成采样

### 3.4 为什么路径变直后可以用粗步长？

考虑 Euler 一步更新：
$$x_{t+\Delta t} = x_t + \Delta t \cdot v(x_t)$$

局部截断误差为 $O(\Delta t^2)$，全局误差为 $O(\Delta t)$。当路径充分直线化后，误差主要来源于 $v_\theta$ 的表达能力而非数值离散化，因此可以使用更大的步长。

---

## 四、Rectified Flow 的目标函数

### 4.1 基础目标函数

**最直接的目标**（线性路径假设）：

$$\mathcal{L}_{RF}(\theta) = \mathbb{E}_{t \sim \mathcal{U}(0,1), x_0 \sim p_0, x_1 \sim p_1} \left[ \| v_\theta(x_t, t) - (x_1 - x_0) \|^2 \right]$$

其中 $x_t = (1-t)x_0 + t x_1$。

**问题**：这个目标要求我们事先知道配对 $\left(x_0, x_1\right)$！

### 4.2 无配对版本

**实际训练中的配对策略**：

1. **独立采样**（最常用）：
   $$\mathcal{L} = \mathbb{E}_{t, x_0 \sim p_0, x_1 \sim p_1} \left[ \| v_\theta(x_t, t) - (x_1 - x_0) \|^2 \right]$$

   优点：简单直接
   缺点：可能学到"平凡解"（如 $v_\theta \approx 0$）

2. **最优传输配对**：
   - 先通过 Sinkhorn 算法计算最优配对 $\pi^*$
   - 令 $x_1 = T(x_0)$ 是 $\pi^*$ 下的配对样本
   - 然后使用上述目标

3. **动态配对（Re-flow）**：
   - 每轮迭代更新配对
   - 逐步改善轨迹

### 4.3 损失权重

实践中常用的加权损失：

$$\mathcal{L}_\lambda = \mathbb{E}_{t \sim \text{LogitNormal}(\mu, \sigma^2)} \left[ \lambda(t) \cdot \| v_\theta(x_t, t) - (x_1 - x_0) \|^2 \right]$$

**Logit-Normal 采样**：
$$t = \frac{1}{1 + e^{-z}}, \quad z \sim \mathcal{N}(\mu, \sigma^2)$$

**常用配置**：
- $\mu = 0, \sigma = 1.0$（使 $t$ 集中在 0.5 附近）
- $\lambda(t) = 1$（均匀权重）
- $\lambda(t) = 1 - \bar{\alpha}_t$（与信噪比相关）

---

## 五、Rectified Flow 与少步采样

### 5.1 采样步数的数学分析

**Euler 方法的全局误差界**（标准 Lipschitz 条件）：

对于 Lipschitz 向量场 $v$，Euler 方法的全局误差为：
$$\| x(T) - x_N \| \leq \frac{T L}{2N} \left( e^{LT} - 1 \right)$$

其中 $N$ 是步数，$T$ 是终点时间，$L$ 是向量场的全局 Lipschitz 常数。

**澄清**：直线路径仅保证**单轨迹内**速度为常数。**全局层面**，不同样本对应不同起点终点，因此学习到的向量场 $v_\theta(x, t)$ 依旧是关于状态 $x$ 的非线性函数，全局 $L \neq 0$。

**实际意义**：路径直线化后，$v_\theta$ 更容易学习到近似常数值向量场，使得 Lipschitz 常数大幅降低，从而允许使用更大的步长，**而非理论零误差**。

### 5.2 步长选择策略

**固定步长**：

| 步数 $N$ | 步长 $\Delta t = 1/N$ | 适用场景 |
|---------|---------------------|---------|
| 1 | 1.0 | 路径完全直线化后 |
| 2-4 | 0.5-0.25 | Re-flow 充分收敛 |
| 10-20 | 0.1-0.05 | 部分直线化 |
| 100+ | <0.01 | 未直线化（原始 FM） |

**自适应步长**：

可以使用标准自适应 ODE 求解器（如 Dormand-Prince RK45）来自动选择步长。在直线化路径上，求解器会自动增大步长。

### 5.3 与 DDPM/SDPM 的对比

| 特性 | DDPM | Score SDE | Rectified Flow |
|------|------|-----------|---------------|
| **采样步数** | 50-1000 | 10-1000 | 1-10 |
| **步长限制** | 必须小（稳定性） | 必须小（噪声项） | 可以大（直线化） |
| **理论基础** | 变分推断 | SDE | 最优传输 |
| **训练目标** | 噪声预测 $\epsilon$ | Score function | 速度场 $v$ |

---

## 六、实际训练中的问题与解决方案

### 6.1 平凡解问题

**问题**：当 $v_\theta(x_t, t) \approx 0$ 时，损失函数取得零值，但这对应的是"不移动"的平凡解。

**原因**：
- $x_1 - x_0$ 和 $v_\theta$ 的期望都可能接近零
- 网络可能学到恒为零的输出

**解决方案**：
1. 使用非对称权重初始化
2. 添加正则项 $\| v_\theta \|^2$ 防止平凡解
3. 使用噪声感知的训练（如 noise schedule）

### 6.2 路径交叉问题

**问题**：独立采样的 $\left(x_0, x_1\right)$ 可能导致**流折叠（Path Crossing）**，即多个起点可能汇聚到同一个人终点。

**核心成因**：随机配对下，插值路径分布与真实流分布存在偏移，这是**分布层面**的问题，而非单纯网络初始化问题。

**数学表现**：
- 学习到的映射 $T: x_0 \to x_1$ 不是双射
- 某些 $x_0$ 可能被映射到多个不同的 $x_1$
- 导致边际分布 $p_t$ 偏离目标分布

**解决方案**：
1. **Re-flow 迭代**：逐步改善配对
2. **最优传输正则**：在损失中添加 OT 项
3. **Unbalanced Flow Matching**：允许边际分布不完全匹配

### 6.3 训练不稳定性

**问题**：某些配置下，训练可能不稳定，特别是在 $t \approx 0$ 时。

**原因**：
- 噪声端 $p_0$ 通常是简单的高斯分布
- 速度场的 Lipschitz 常数可能在噪声端较大

**解决方案**：
1. 使用学习率 warmup
2. 对极端 $t$ 值使用更小的学习率权重
3. 梯度裁剪

### 6.4 方差估计问题

**问题**：$x_1 - x_0$ 的方差随数据维度增加。

**对于高维数据**：
$$\mathbb{E}[|x_1 - x_0|^2] = \mathbb{E}[|x_1|^2] + \mathbb{E}[|x_0|^2] - 2 \mathbb{E}[x_1]^T \mathbb{E}[x_0]$$

当维度 $D$ 很大时，即使每个维度方差很小，总方差也可能很大。

**解决方案**：
1. 使用 batch normalization
2. 归一化目标：$\| v_\theta - (x_1 - x_0) \|^2 / D$
3. 使用更大的 batch size

---

## 七、Rectified Flow 的扩展与变体

### 7.1 单次迭代与多次迭代 RF

**单次迭代 RF**：
- 只进行一次 Re-flow 迭代
- 路径：从独立采样的直线插值开始，然后训练 $v$
- 通常需要 4-10 步采样

**多次迭代 RF**：
- 进行两次或以上 Re-flow 迭代
- 第二次迭代使用第一次生成的轨迹终点作为新的 $x_1$
- 通常可以用 2-4 步采样

### 7.2 条件 Rectified Flow

**无条件生成的局限**：在实际应用中，我们通常需要**条件生成**（给定文本描述等条件 $c$）。

**条件 RF**：
$$v_\theta(x_t, t | c) = \mathbb{E}[x_1 - x_0 | x_0, c]$$

**Classifier-Free Guidance 在 RF 中的应用**：
$$\tilde{v}_\theta(x_t, t) = (1 + w) \cdot v_\theta(x_t, t | c) - w \cdot v_\theta(x_t, t | \emptyset)$$

其中 $w$ 是 guidance 权重。

---

## 八、与大模型的结合

### 8.1 为什么 RF 适合大模型？

**理论原因**：
1. **少步采样 = 少梯度步数**：大模型的梯度计算代价极高，少步采样意味着少梯度步数
2. **常数路径 = 简单优化 landscape**：直线轨迹对应的损失 landscape 更平滑
3. **可扩展性**：路径直线化与模型规模无关

**实证支持**：
- Stable Diffusion 3（12B 参数）使用 RF
- Flux.1（12B 参数）使用 RF
- 两者都实现了 4-8 步高质量生成

### 8.2 与 DiT 的结合

**DiT（Diffusion Transformer）**架构与 Rectified Flow 的结合：

1. **噪声到潜空间的映射**：VAE 编码器将图像压缩到低维潜空间
2. **Transformer 处理条件**：文本 embedding 和时间步 embedding
3. **RF 训练**：在潜空间中进行向量场回归
4. **少步采样**：解码器从潜空间恢复图像

**优势**：
- Transformer 的并行计算能力适合大模型
- RF 的少步特性降低推理成本
- 两者结合实现质量与效率的平衡

---

## 九、数学推导速查

### 9.1 核心公式

**线性插值路径**：
$$x_t = (1-t)x_0 + t x_1$$

**速度场（直线轨迹）**：
$$u_t(x_t | x_1) = x_1 - x_0$$

**CFM 损失（RF 版本）**：
$$\mathcal{L}_{RF} = \mathbb{E}_{t, x_0, x_1} \left[ \| v_\theta(x_t, t) - (x_1 - x_0) \|^2 \right]$$

**Re-flow 更新**：
$$x_1^{(k+1)} = x(1)^{(k)} \quad (trajectory endpoint)$$

**最优传输目标**：
$$\min_\pi \int \| T(x_0) - x_0 \|^2 d\pi(x_0, x_1)$$

### 9.2 误差分析

**Euler 方法全局误差界**（标准 Lipschitz 条件）：
$$\| x(T) - x_N \| \leq \frac{T L}{2N} \left( e^{LT} - 1 \right)$$

**路径直线化的实际意义**：直线化后 $v_\theta$ 更容易学习到近似常数值向量场，使得 Lipschitz 常数 $L$ 大幅降低，从而允许使用更大步长，而非理论零误差。

---

## 十、总结

Rectified Flow 提供了一个朴素而有力的洞察：**直线是最短的路径，也是最高效的生成路径**。

**核心贡献**：
1. **路径直线化**：通过 Re-flow 迭代，逐步将路径直线化，使 ODE 求解退化为少步仿射变换
2. **少步采样**：直线化后可用 1-10 步完成高质量生成
3. **大模型友好**：少步采样 = 少梯度步数，适合大参数模型

**数学本质**：
- 将 ODE 数值求解的精度问题转化为路径设计问题
- 从"如何精确求解弯曲的 ODE"转变为"如何让路径更容易求解"
- 最优传输理论为路径设计提供了理论基础

**与 FM 的关系**：
- FM 提供了通用的向量场回归框架
- RF 是 FM 的一种特殊路径设计选择
- RF 的线性路径假设简化了 FM 的损失函数

---

**延伸阅读**：

1. Liu et al., "Rectified Flow: A Marginal Preserving Approach to Optimal Transport" (ICML 2023)
2. Albergo & Vanden-Eijnden, "Building Normalizing Flows with Stochastic Interpolants" (ICLR 2023)
3. Lipman et al., "Flow Matching for Generative Modeling" (NeurIPS 2022)
4. Esser et al., "Theketing Diffusion Models: Rectified Flow at Scale" (2024)
5. Flux.1 Technical Report