---
title: Scaling Rectified Flow Transformers：SD3 与工业级生成模型的实现
draft: false
tags:
  - Stable-Diffusion-3
  - Rectified-Flow
  - DiT
  - 生成模型
  - 工业实践
  - 大规模训练
---

# Scaling Rectified Flow Transformers：SD3 与工业级生成模型的实现

---

## 一、从理论到工业实践

### 1.1 回顾：为什么需要 Scaling？

在理论层面，Rectified Flow 提供了：
- **路径直线化**：理论上可以用 1-4 步采样
- **简洁的训练目标**：简单的速度场回归 $\mathbb{E}\|v_\theta - (x_1-x_0)\|^2$
- **最优传输的理论支撑**：Re-flow 迭代可以逐步改善路径

但将这些理论优势**在大规模数据上实现**，面临新的挑战：

| 理论假设 | 工业实践中的挑战 |
|---------|-----------------|
| 路径完全直线化 | 高分辨率图像生成的路径更复杂 |
| 简单高斯噪声 | 文本条件、构图、风格的联合建模 |
| 小规模验证 | 12B 参数模型的训练稳定性 |
| 理论步数 | 实际生成质量与步数的权衡 |

### 1.2 Stable Diffusion 3 的核心贡献

**SD3（Stable Diffusion 3）** 是第一个在大规模（12B 参数）图像生成任务上系统验证 Rectified Flow + Transformer 架构的工作。

**核心观察**：

> Rectified Flow 的少步采样优势在大模型上更加显著——因为少步采样意味着**少梯度步数**，而大模型的梯度计算代价极高。

**SD3 的关键数字**：

| 指标 | DDPM-based SD | SD3（RF-based） |
|------|--------------|-----------------|
| 参数量 | 2-4B | 12B |
| 采样步数 | 20-50 | 4-8 |
| 文本渲染 | 模糊/失败 | 清晰/准确 |
| 构图质量 | 中等 | 显著提升 |

---

## 二、Rectified Flow Transformer（RFformer）架构

### 2.1 整体架构

SD3 采用了 **Rectified Flow Transformer（RFformer）** 架构：

```
输入
├── 噪声图 $x_t$（潜空间）
├── 时间步 $t$
├── 文本条件 $c$
└── ROI（可选）

        ↓
┌───────────────────────┐
│  DiT Block (×N layers) │
│  ├── Adaptive Layer Norm │
│  ├── Cross-Attention    │
│  ├── Feed-Forward       │
│  └── RMS Norm           │
└───────────────────────┘
        ↓
┌───────────────────────┐
│  输出头                  │
│  └── 预测速度场 $v_\theta$ │
└───────────────────────┘
```

### 2.2 RFformer 相对原生 DiT 的三大核心改造

**原生 DiT**：适配离散扩散去噪，输出预测噪声
**RFformer（SD3 核心）**：并非单纯堆叠 DiT 模块，而是做了**三大核心改造**：

1. **输出头修改**：从预测噪声 $\epsilon$ 改为预测速度场 $v_\theta$
2. **损失函数变更**：从噪声预测 MSE 改为速度场回归 $\mathbb{E}\|v_\theta - (x_1-x_0)\|^2$
3. **时序编码适配**：采用傅里叶时序嵌入 + 流匹配专用时序编码，替代扩散模型 SNR 形式

### 2.3 DiT（Diffusion Transformer）核心模块

**标准 DiT Block**：

每个 DiT Block 包含：
1. **Adaptive Layer Norm（AdaLN）**：
$$h = \text{AdaLN}(x, c) = \gamma(c) \cdot \text{LayerNorm}(x) + \beta(c) \tag{2.1}$$

其中 $\gamma, \beta$ 是从条件 $c$ 预测的 scale 和 bias。

2. **Cross-Attention**（处理文本条件）：
$$\text{Attn}(Q, K, V) = \text{softmax}\left(\frac{Q K^T}{\sqrt{d}}\right) V \tag{2.2}$$
$$Q = W_Q h, \quad K = W_K c, \quad V = W_V c$$

其中 $c$ 是文本 embedding。

3. **MLP/FFN**：
$$\text{FFN}(h) = W_2 \cdot \sigma(W_1 h + b_1) + b_2 \tag{2.3}$$

### 2.3 时间步与条件的融合

**时间步 embedding**：

SD3 使用了**傅里叶时序嵌入 + 流匹配专用时序编码**（并非所谓 LogitSNR embedding）：

1. **Fourier embedding**：
$$e_{\text{fourier}}(t) = \text{MLP}(\text{sincos}(t)) \tag{2.4}$$

2. **流匹配专用时序编码**（区分于 DDPM 的 SNR 形式）：
$$e_{\text{fm}}(t) = \text{MLP}(\text{concat}(\sin(2^k \pi t), \cos(2^k \pi t))_{k=0}^{K-1}) \tag{2.5}$$

**注意**：线性插值整流匹配**无标准 SNR 定义**，该式是 DDPM 时序调度形式，RF 不存在此信噪比概念。

**两个 embedding 拼接后作为条件输入**。

### 2.4 噪声处理与 Rectified Flow 的对应

**在 Rectified Flow 中**，$t=0$ 是纯噪声，$t=1$ 是纯数据。

**SD3 的噪声注入**：

$$x_t = (1-t) \cdot x_0 + t \cdot x_1 \tag{2.6}$$

其中 $x_0 \sim \mathcal{N}(0, I)$ 是噪声，$x_1$ 是数据潜变量。

**训练目标**（带文本条件 $c$ 的条件流匹配）：
$$\mathcal{L}_c = \mathbb{E}_{t, x_0, x_1, c} \left[ \| v_\theta(x_t, t, c) - \mathbb{E}[x_1 - x_0 | x_0, c] \|^2 \right] \tag{2.7}$$

**说明**：无条件损失 $\mathbb{E}\|v_\theta-(x_1-x_0)\|^2$ 仅适用于独立配对整流匹配。加入文本条件后，必须引入**条件期望约束** $\mathbb{E}[x_1-x_0|x_0,c]$，不能直接套用最简无约束损失。

---

## 三、大规模训练的数学分析

### 3.1 Scaling 定律

**发现（Scaling Laws for RF）**：

对于 Rectified Flow 大模型，生成质量与模型参数量的关系近似**幂律缩放**（而非对数律）：

$$\text{Quality}(N) \propto N^\alpha, \quad \alpha \in (0.2, 0.5) \tag{3.1}$$

其中 $N$ 是参数量，$\alpha$ 是缩放指数。参数量越大，质量提升增速平缓但**持续上涨**，对数律与大规模实测缩放实验结果相悖。

**采样步数与质量的关系**：

对于 $K$ 步采样，定义**采样效率系数**：
$$\eta(K) = \frac{\text{Quality}(K)}{\text{Quality}(\infty)} \tag{3.2}$$

实验发现：
- $K \geq 4$ 时，$\eta(K) \approx 0.95$（基本达到最优）
- $K = 1$ 时，$\eta(1) \approx 0.7-0.85$（取决于模型规模）

**大模型的优势**：

模型规模越大，单步采样质量越高。这解释了为什么 SD3 可以用 4 步而 DDPM 需要 50+ 步。

### 3.2 训练稳定性分析

**梯度尺度问题**：

设 batch size 为 $B$，模型参数为 $\theta$，损失函数为 $\mathcal{L}(\theta)$。

**梯度幅度**：

设 batch size 为 $B$，模型参数为 $\theta$，损失函数为 $\mathcal{L}(\theta)$。

大模型训练中梯度尺度由多因素综合决定，简易正比关系无法准确描述：
$$\|\nabla_\theta \mathcal{L}\| \sim \mathcal{F}(D, B, \sigma(\theta), \text{网络深度}) \tag{3.3}$$

其中 $D$ 是数据维度，$\sigma(\theta)$ 是网络权重的标准差，大模型梯度尺度需结合网络深度与初始化策略综合分析。

**大模型中的问题**：

当模型参数量增大时：
- 权重初始化需要更细致的调节
- 梯度裁剪阈值需要相应调整
- 学习率需要按比例 scaling

**SD3 的解决方案**：

1. **使用 RMSNorm**（代替 LayerNorm）：
$$\text{RMSNorm}(x) = \frac{x}{\text{RMS}(x)} \cdot \gamma, \quad \text{RMS}(x) = \sqrt{\frac{1}{D} \sum_i x_i^2} \tag{3.4}$$

优势：去掉了均值计算，更稳定。

2. **QK-Norm**（对 attention 的 query/key 进行归一化）：
$$\tilde{Q} = Q / \| Q \|, \quad \tilde{K} = K / \| K \| \tag{3.5}$$

这防止了 attention scores 的数值爆炸。

3. **自适应学习率调度**：
$$\eta(t) = \eta_0 \cdot (1 - t)^\beta \tag{3.6}$$

其中 $t$ 是训练进度，$\beta \approx 0.5-1.0$。

### 3.3 训练过程中的优化

**Mixed-Precision 训练**：

**BF16 是图文大模型唯一稳定选择**，FP16 极易出现梯度溢出、训练震荡。使用 BF16 进行前向传播，FP32 进行优化器状态存储：

| 操作 | 数据类型 |
|------|---------|
| 模型权重 | BF16 |
| 前向传播 | BF16 |
| 梯度存储 | FP32 |
| 优化器状态 | FP32 |

**优势**：减少显存占用，加速计算。

---

## 四、Classifier-Free Guidance 在 Rectified Flow 中的应用

### 4.1 标准 CFG 回顾

**CFG 的核心思想**：

通过无条件和条件预测的线性组合来增强条件生成：
$$\tilde{\epsilon}_\theta(x_t, t | c) = (1+w) \cdot \epsilon_\theta(x_t, t | c) - w \cdot \epsilon_\theta(x_t, t | \emptyset) \tag{4.1}$$

其中 $w$ 是 guidance 权重。

### 4.2 RF 版本的 CFG

**定理（RF 的 CFG 公式）**：

对于 Rectified Flow 速度场，CFG 可以写成：
$$\tilde{v}_\theta(x_t, t | c) = (1+w) \cdot v_\theta(x_t, t | c) - w \cdot v_\theta(x_t, t | \emptyset) \tag{4.2}$$

**条件流匹配 CFG 理论来源**：

RF 条件生成的训练目标应包含**条件期望约束**，而非直接套用无条件损失：
$$\mathcal{L}_c = \mathbb{E}_{t, x_0, x_1, c} \left[ \| v_\theta(x_t, t, c) - \mathbb{E}[x_1 - x_0 | x_0, c] \|^2 \right] \tag{4.2b}$$

CFG 通过线性组合无条件预测和条件预测来增强条件生成效果，其理论依据来源于流匹配的条件速度场回归框架，而非自主推导。

### 4.3 采样时的 CFG 使用

**在推理时**，使用 CFG 的采样流程：

1. 初始化 $x_0 \sim \mathcal{N}(0, I)$
2. 对于 $k = 1$ to $K$（$K \approx 4-8$）：
   - 计算 $\tilde{v} = (1+w) v_\theta(x_{t_k}, t_k | c) - w v_\theta(x_{t_k}, t_k | \emptyset)$
   - 更新 $x_{t_{k-1}} = x_{t_k} - \Delta t \cdot \tilde{v}$
3. 返回 $x_0$

### 4.4 CFG 的最优权重

**实验发现**：

- **低 guidance 权重**（$w < 1$）：生成更自然但与条件关联较弱
- **中等权重**（$w \approx 3-7$）：质量和条件对齐的平衡点
- **高权重**（$w > 10$）：过饱和、伪影

**SD3 的配置**：
- 文本到图像：$w \approx 4-7$
- 图像补全：$w \approx 2-4$

---

## 五、高分辨率图像生成的关键技术

### 5.1 潜空间扩散

**为什么需要潜空间**：

直接在高分辨率图像空间（如 $1024 \times 1024$）进行扩散计算代价过高：
- 像素数：$1024^2 \times 3 \approx 3M$
- 每步计算量巨大

**SD3 使用 VAE 压缩**：

$$x_{\mathrm{KL}} \xrightarrow{\mathrm{KL}} z_{\mathrm{KL}} \xrightarrow{\mathrm{KL}} \hat{z}_{\mathrm{KL}} \xrightarrow{\mathrm{KL}} \hat{x}_{\mathrm{KL}} \tag{5.1}$$

典型配置：
- 压缩比：$8 \times$（像素）/ $64 \times$（压缩后）
- 潜空间维度：$(1024/8)^2 \times 4 = 128 \times 128 \times 4 = 65536$

### 5.2 文本条件的处理

**多模态 embedding 空间**：

SD3 使用了改进的文本 embedding 方案：

1. **Tokenization**：将文本转为 token 序列
2. **Text Encoder**：使用 T5 或 CLIP 编码
3. **Cross-attention**：在 DiT 中通过 cross-attention 融合

**文本渲染能力的提升**：

Rectified Flow 的直线轨迹对于文本渲染特别有利：
- 路径弯曲越小，中间状态的"模糊"越少
- 单步预测时，网络可以更准确地学习字符形状

### 5.3 结构与布局控制

**额外的控制信号**：

SD3 支持通过额外输入控制生成：
- **ROI**（Region of Interest）：指定生成区域
- **Skeleton/Keypoints**：结构控制
- **Depth/Normal**：深度图控制

这些通过额外的 AdaLN 注入或 concat 输入实现。

---

## 六、Flux.1：开源实现与性能分析

### 6.1 Flux.1 技术概述

**Flux.1** 是 SD3 之后出现的开源高参数图像生成模型，核心技术栈与 SD3 类似。

**架构配置**：

| 模型 | 参数量 | 采样步数 | 开源程度 |
|------|--------|---------|---------|
| Flux.1-dev | 12B | 4-8 | 部分（模型权重） |
| Flux.1-schnell | 12B | 1-2（极速版） | 部分（加速版本） |
| SD3-medium | 2B | 4-8 | 完全开源 |

**推理步数落地取舍**：
- **Flux.1-schnell**（1-2步）：极致速度，牺牲部分质量
- **标准版**（4步）：质量与速度平衡，工业主流选择
- **高质量版**（6-8步）：极限质量场景

### 6.2 性能对比

**在标准 benchmark 上的表现**：

| 模型 | FID $\downarrow$ | CLIP $\uparrow$ | 步数 |
|------|-----------------|----------------|------|
| SDXL | 3.5 | 0.68 | 25 |
| SD3 (4步) | 2.5 | 0.76 | 4 |
| Flux.1-dev | 1.8 | 0.79 | 4 |

### 6.3 训练过程中的关键技术

**EMA（指数移动平均）**：

$$\theta_{\mathrm{old}}  \leftarrow m \cdot \theta_{\mathrm{old}}  + (1-m) \cdot \theta \tag{6.1}$$

SD3 使用 $m = 0.9995$（12B 图文大模型实战最优值，而非过于极端的 $0.9999$），在推理时使用 EMA 模型。

**退火学习率**：

$$\eta_k = \eta_0 \cdot \left(1 - \frac{k}{K}\right)^\alpha, \quad \alpha \approx 1.0 \tag{6.2}$$

---

## 七、训练过程与调参

### 7.1 完整训练流程

**Algorithm: SD3/Rectified Flow Transformer Training**

**阶段 1：预训练**
1. 收集大规模图文对数据集（如 LAION、SAI）
2. 使用 VAE 编码为潜空间表示
3. 使用 Rectified Flow 目标训练 DiT
4. 配置：batch size $\approx 2048$（**分布式全局 batch**，需多卡并行，单卡无法承载 12B 模型 2048 图文批次），学习率 $\approx 10^{-4}$

**阶段 2：微调**
1. 使用更高质量的数据子集
2. 减小 batch size（$\approx 512$）
3. 使用更小的学习率
4. 可能添加特定领域的控制信号

**阶段 3：推理优化**
1. 计算 EMA 模型
2. 使用 CFG 采样
3. 步数调度（不一定均匀）

### 7.2 关键超参数配置

| 超参数 | SD3 参考值 | 作用 |
|--------|-----------|------|
| **模型参数量** | 12B | 决定生成质量上限 |
| **采样步数** | 4-8 | 质量与速度权衡 |
| **CFG 权重** | 4-7 | 条件对齐程度 |
| **Batch Size** | 2048（分布式） | 梯度估计方差 |
| **学习率** | $1e-4$ | 收敛速度 |
| **Adam $\beta$** | $(0.9, 0.999)$ | 默认稳定配置 |
| **EMA 衰减** | $0.9995$ | 推理模型质量（实战最优） |
| **潜空间压缩比** | $8\times$ | 计算效率 |

### 7.3 常见问题与解决方案

**问题 1：训练发散**

表现：损失 NaN 或爆炸。

解决方案：
- 检查混合精度配置
- 降低学习率
- 添加梯度裁剪 $\|\nabla\| \leq 1.0$

**问题 2：模式坍缩**

表现：模型只生成少数几种图像。

解决方案：
- 增加 batch size
- 添加多样化正则
- 检查数据分布

**问题 3：文本渲染失败**

表现：文字模糊或错误。

解决方案：
- 使用更高的 CFG 权重
- 在训练数据中增加文本图像比例
- 可能需要专门的文本编码器

---

## 八、与理论对应的关键洞察

### 8.1 为什么 Rectified Flow 在大模型上更有效？

**理论解释 1：少步采样 = 少梯度步数**

设总训练计算量为 $C$：
$$C \approx N_{\mathrm{KL}} \cdot N_{\mathrm{KL}} \cdot N_{\mathrm{KL}} \tag{8.1}$$

对于 DDPM：
- $N_{\mathrm{KL}} \approx 50$（采样步数）
- 总计算量大

对于 RF（4步采样）：
- $N_{\mathrm{KL}} \approx 4$
- 计算量降低约 10 倍，可以：
  - 训练更多 steps
  - 使用更大的 batch size
  - 用同样 budget 训练更大模型

**理论解释 2：直线轨迹减少拟合难度 + 保留结构特征**

对于弯曲路径，向量场 $v_\theta(x,t)$ 必须在整个路径上正确预测切向量。

对于直线路径：
$$v(x_0) = x_1 - x_0 \approx \text{const for given pair} \tag{8.2}$$

这减少了模型需要学习的函数复杂度。

**直线轨迹的工业优势**（并非仅"少步推理快"）：
1. **规避多峰分布模糊**：线性插值天然避免弯曲路径经过低密度区域导致的模式坍缩
2. **文本结构化特征保留能力强**：文本笔画等结构化特征在路径任意位置都可被网络识别
3. **中间状态清晰**：路径弯曲越小，中间状态的"模糊"越少

### 8.2 为什么 SD3 的文本渲染更好？

**分析**：

文本渲染需要精确的像素对应关系：

1. **路径弯曲导致的模糊**：在弯曲路径上，$t \approx 0.5$ 时，图像处于"半噪声"状态，此时文本结构信息丢失
2. **直线轨迹保留结构**：在直线路径上，$x_t = (1-t)x_0 + t x_1$，在任意 $t$ 时，$x_t$ 都是 $x_0$ 和 $x_1$ 的线性组合

**数学上**：对于直线插值，任意中间时刻 $t$ 的状态都可以表示为：
$$x_t = \alpha(t) \cdot (\text{noise}) + \beta(t) \cdot (\text{data}) \tag{8.3}$$

这使得文本笔画等**结构化特征**在路径的任意位置都可被网络识别。

### 8.3 架构选择：为什么是 Transformer？

**CNN 的局限**：

- **局部感受野**：CNN 的每个位置只看到局部邻域
- **长距离依赖需要深层网络**：堆叠很多层才能建立全局联系
- **灵活性受限**：卷积核大小固定

**Transformer 的优势**：

- **全局注意力**：每个位置可以看到所有其他位置
- **路径直线化后的全局一致性**：直线轨迹上的全局对应关系更容易建模
- **可扩展性**：参数量增大时，性能提升更平滑

---

## 九、性能分析与Benchmark

### 9.1 标准Benchmark对比

**图像质量指标**：

| 模型 | FID $\downarrow$ | CLIP $\uparrow$ | IS $\uparrow$ |
|------|-----------------|----------------|--------------|
| SDXL | 3.5 | 0.68 | 8.5 |
| SD3 (4步) | 2.5 | 0.76 | 10.2 |
| Flux.1 (4步) | 1.8 | 0.79 | 12.1 |
|Imagen | 2.0 | 0.74 | 9.5 |

**推理速度对比**（A100）：

| 模型 | 采样步数 | 生成时间（s） |
|------|---------|-------------|
| SDXL | 25 | 3.2 |
| SD3 | 4 | 1.8 |
| Flux.1 | 4 | 1.5 |

### 9.2 消融实验

**关键组件的贡献**（对齐 SD3/Flux 官方公开消融实验）：

| 实验 | 配置 | FID 变化 |
|------|------|---------|
| 基准 | SDXL baseline | 3.5 |
| + RF（50步） | 使用 RF 但保持 50 步 | 3.3 |
| + RF（4步） | 减少到 4 步反而更优 | 2.8 |
| + Transformer | 替换 CNN 为 DiT | 2.6 |
| + 全部 | RF + DiT + CFG + 12B | 2.5 |

**澄清**：同等架构下，4步 RF 相比 50步 DDPM，**FID 更低、图文对齐更强**，并非导致 FID 上升。原文"4步 RF 导致 FID 上升"结论与官方实验结果相反。

---

## 十、总结

**SD3/Flux.1 的核心启示**：

1. **Rectified Flow 是工业级选择**：在 12B 参数规模下，4-8 步采样可以保持高质量
2. **Transformer > CNN**：全局注意力与 RF 的路径直线化天然契合
3. **Scaling 仍然有效**：更大的模型 + 更少的步数 = 更好的质量与效率平衡

**核心公式汇总**：

**训练目标**：
$$\mathcal{L} = \mathbb{E}_{t, x_0, x_1, c} \left[ \| v_\theta(x_t, t, c) - (x_1 - x_0) \|^2 \right] \tag{10.1}$$

**CFG 公式**：
$$\tilde{v} = (1+w) \cdot v_\theta^c - w \cdot v_\theta^\emptyset \tag{10.2}$$

**采样更新**：
$$x_{t-\Delta t} = x_t + \Delta t \cdot \tilde{v} \tag{10.3}$$

**关键设计选择**：

- 潜空间扩散（压缩比 $8\times$）
- RMSNorm + QK-Norm（稳定性）
- 傅里叶时序嵌入（时间步）
- 流匹配专用时序编码
- 大 batch + 小学习率（收敛性）

---

**延伸阅读**：

1. Esser et al., "Scaling Rectified Flow Transformers for High-Resolution Image Synthesis" (2024)
2. stableai/sd3-community, "Stable Diffusion 3 Technical Report" (2024)
3. Flux.1 Model Card and Technical Report
4. Peebles & Xie, "Scalable Diffusion Models with Transformers" (DiT, ICCV 2023)
5. He et al., "A ConvNet for the 2020s" (现代化 CNN 设计)