Notes/机器学习/深度学习模型/03-生成模型/3-能量模型.md

title, draft, tags

title	draft	tags
1-能量模型	false	EBM 能量模型 生成模型 深度学习

能量模型（Energy-Based Model, EBM）

1. EBM 的基本定义

1.1 能量函数的定义

定义 1.1（能量函数） 设 x \in \mathcal{X} \subseteq \mathbb{R}^D 为观测数据，一个参数化的能量函数定义为：

E_\theta: \mathcal{X} \to \mathbb{R}, \quad x \mapsto E_\theta(x)

其中 \theta \in \Theta 为可学习参数。能量函数 E_\theta(x) 的值可以是任意实数，其物理意义来源于统计物理学——低能量对应高概率状态。

1.2 吉布斯分布

定义 1.2（吉布斯分布） 基于能量函数，EBM 定义概率分布为：

p_\theta(x) = \frac{\exp(-E_\theta(x))}{Z(\theta)}

其中：

• \exp(-E_\theta(x)) 称为玻尔兹曼因子（Boltzmann factor）
• Z(\theta) 是配分函数（Partition Function），定义为：

Z(\theta) = \int \exp\left(-E_\theta(x)\right) dx

定理 1.1（归一化性） 由上述定义，p_\theta(x) 满足归一化条件：

\int p_\theta(x) \, dx = \frac{1}{Z(\theta)} \int \exp(-E_\theta(x)) \, dx = 1

1.3 EBM 表示任意概率分布的能力

定理 1.2（通用逼近性） 给定任意目标概率分布 $p^(x)$，如果能量函数 E_\theta(x) 足够灵活（如神经网络万能逼近能力），则存在一组参数 \theta^* 使得 p_\theta(x) 任意逼近 $p^(x)$。

证明思路：考虑能量函数 $E_\theta(x) = -\log p^*(x) + C$，其中 C 为归一化常数。则：

p_\theta(x) = \frac{\exp(-E_\theta(x))}{Z(\theta)} = \frac{p^*(x)}{\int p^*(x) dx} = p^*(x)

在实际应用中，我们使用参数化函数 E_\theta(x) 通过学习来拟合目标分布。常见的能量函数形式包括：

• 神经网络：E_\theta(x) = f_\theta(x)
• RBM 的能量函数：E_\theta(x, h) = -b^\top x - c^\top h - h^\top W x

---

2. 对数似然梯度推导

2.1 配分函数梯度的计算

引理 2.1 配分函数 Z(\theta) 对参数 \theta 的梯度为：

\nabla_\theta Z(\theta) = \int \nabla_\theta \exp(-E_\theta(x)) \, dx = \int (-\nabla_\theta E_\theta(x)) \exp(-E_\theta(x)) \, dx

引理 2.2 对数配分函数 \log Z(\theta) 的梯度为：

\nabla_\theta \log Z(\theta) = \frac{\nabla_\theta Z(\theta)}{Z(\theta)} = \int (-\nabla_\theta E_\theta(x)) \frac{\exp(-E_\theta(x))}{Z(\theta)} \, dx = \mathbb{E}_{p_\theta(x)}[-\nabla_\theta E_\theta(x)]

2.2 对数似然梯度

给定观测数据 $\mathcal{D} = {x^{(i)}}_{i=1}^N$，对数似然为：

\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^N \log p_\theta(x^{(i)})

定理 2.1（对数似然梯度） 对数似然 L(\theta) = \log p_\theta(x) 对参数 \theta 的梯度为：

\nabla_\theta \log p_\theta(x) = -\nabla_\theta E_\theta(x) - \mathbb{E}_{p_\theta(x)}[\nabla_\theta E_\theta(x)]

证明：

\begin{aligned}
\nabla_\theta \log p_\theta(x) &= \nabla_\theta \left[ -E_\theta(x) - \log Z(\theta) \right] \\
&= -\nabla_\theta E_\theta(x) - \nabla_\theta \log Z(\theta) \\
&= -\nabla_\theta E_\theta(x) - \mathbb{E}_{p_\theta(x)}[-\nabla_\theta E_\theta(x)] \\
&= -\nabla_\theta E_\theta(x) + \mathbb{E}_{p_\theta(x)}[\nabla_\theta E_\theta(x)]
\end{aligned}

注意：一些文献中使用正号约定不同，此处按 p_\theta(x) \propto \exp(-E_\theta(x)) 定义。

2.3 正相与负相的物理意义

将梯度公式写为期望形式：

\nabla_\theta \log p_\theta(x) = \underbrace{-\nabla_\theta E_\theta(x)}_{\text{正相（positive phase）}} + \underbrace{\mathbb{E}_{p_\theta(x)}[\nabla_\theta E_\theta(x)]}_{\text{负相（negative phase）}}

正相（Positive Phase）：对于观测数据 $x$，正相项 -\nabla_\theta E_\theta(x) 增大观测数据的概率。具体而言：

• 如果 \nabla_\theta E_\theta(x) 为负，则正相项为正，驱使能量降低
• 正相降低"真实数据"的能量，提高其概率

负相（Negative Phase）：从模型分布 p_\theta(x) 中采样的期望 $\mathbb{E}{p\theta(x)}[\nabla_\theta E_\theta(x)]$：

• 代表模型当前认为"可能"的数据
• 负相增大这些样本的能量，压制模型分布中过高概率的区域
• 防止模型过度集中于某一模式（mode collapse）

物理图景：能量模型的学习过程可以类比为热力学系统：

• 正相：将真实数据拉向低能量状态（吸引）
• 负相：将模型样本推离低能量状态（排斥）
• 平衡：达到稳态时，负相恰好平衡正相

---

3. 对比散度（Contrastive Divergence, CD）

3.1 精确梯度的不可计算性

问题 3.1 精确计算负相期望 \mathbb{E}_{p_\theta(x)}[\nabla_\theta E_\theta(x)] 是 intractable 的，因为：

1. 需要从 p_\theta(x) 中精确采样，但 Z(\theta) 通常不可计算
2. 即使知道 $Z(\theta)$，精确采样也需要 Markov Chain Monte Carlo (MCMC) 的极限分布

3.2 CD-k 算法

算法 3.1（CD-k 算法）

输入：数据样本 $x$，参数 $\theta$，步数 k

1. 初始化：\tilde{x}^{(0)} \leftarrow x
2. MCMC 步骤：对于 $t = 0, 1, \ldots, k-1$：
   • 离散 EBM（如 RBM）：使用 Gibbs 采样
   • 连续高维 EBM：使用 Langevin 动力学采样（见第 6 节）
3. 返回：\tilde{x}^{(k)} 作为负相样本的近似

CD 梯度估计：

\nabla_\theta \log p_\theta(x) \approx -\nabla_\theta E_\theta(x) + \nabla_\theta E_\theta(\tilde{x}^{(k)})

3.3 CD 梯度偏差分析

定理 3.1（CD 梯度偏差） CD-k 提供的梯度估计是有偏的，偏差来源为：

\mathbb{E}_{p_\theta(x, \tilde{x}^{(k)})}[\nabla_\theta E_\theta(x)] - \mathbb{E}_{p_\theta(x)}[\nabla_\theta E_\theta(x)] = \text{bias}_k

其中联合分布 p_\theta(x, \tilde{x}^{(k)}) 来自从 x 开始的 k 步 MCMC 链。

性质 3.1

• 当 k \to \infty 时，$\tilde{x}^{(k)} \sim p_\theta(x)$，偏差趋于零
• 当 k=1 时，CD-1 是最常用的选择，计算效率与估计精度的折中
• CD 梯度估计的方差通常小于精确 MCMC 估计

3.4 持续对比散度（Persistent CD, PCD）

算法 3.2（PCD-k 算法）

PCD 与 CD 的关键区别在于维护"持久链"（persistent chains）：

1. 维护 C 条独立的 MCMC 链 \mathcal{C}_1, \ldots, \mathcal{C}_C
2. 每轮训练后，更新所有持久链的状态
3. 负相样本从更新后的链中取样

优点：

• 避免每轮从数据点重新初始化链
• 链在轮次间"持久"，更快收敛到平稳分布
• 适合在线学习设置

收敛条件：PCD 需要步长足够小，以确保链能够跟踪缓慢变化的能量 landscape。

---

4. 伪似然（Pseudolikelihood）

4.1 伪似然的定义

定义 4.1（伪似然） 伪似然是一种基于条件概率的替代目标函数：

\mathcal{L}_{\text{PL}}(\theta) = \sum_{i=1}^N \log p_\theta(x_i \mid x_{-i})

其中 x_i 表示第 i 个变量，x_{-i} 表示除 x_i 外的所有变量。

对于二元变量或离散的 EBM：

\log p_\theta(x_i \mid x_{-i}) = \log \frac{\exp(-E_\theta(x))}{\sum_{x_i'} \exp(-E_\theta(x_i', x_{-i}))}

4.2 与对数似然的关系

定理 4.1 伪似然是对数似然的一阶近似，在某些条件下渐近等价。

证明思路：利用分解，

\log p_\theta(x) = \sum_{i=1}^D \log p_\theta(x_i \mid x_{<i})

而伪似然使用"逆向"条件：

\mathcal{L}_{\text{PL}}(\theta) = \sum_{i=1}^D \log p_\theta(x_i \mid x_{-i})

对于满足马尔可夫性质的模型（如 RBM），当条件分布 p_\theta(x_i \mid x_{-i}) 与 p_\theta(x_i \mid x_{<i}) 足够接近时，两者等价。

定理 4.2（伪似然梯度） 伪似然的梯度可以写为：

\nabla_\theta \log p_\theta(x_i \mid x_{-i}) = -\nabla_\theta E_\theta(x) + \mathbb{E}_{p_\theta(x_i' \mid x_{-i})}[\nabla_\theta E_\theta(x_i', x_{-i})]

这与对数似然梯度形式相似，但期望仅在 x_i 上计算，降低了计算复杂度。

4.3 在图像建模中的应用

应用 4.1（EBM for Image Generation） 近年来，EBM 在图像生成中重新受到关注：

• 模型架构：使用 CNN 或 Transformer 作为能量函数 E_\theta(x)
• 训练目标：伪似然或 CD
• 采样：Langevin 动力学（见第 6 节）
• 优点：无需显式归一化常数
• 代表工作：EBMs for image generation (Du & Mordatch, 2019)

---

5. 噪声对比估计（Noise Contrastive Estimation, NCE）

5.1 NCE 的核心思想

核心思想：将估计非归一化分布 p_\theta(x) \propto \exp(-E_\theta(x)) 的问题转化为二分类问题：

• 正类：来自真实数据分布 p_{\text{data}}(x)
• 负类：来自噪声分布 $q(x)$（如均匀分布、高斯噪声）

5.2 目标函数推导

定义 5.1（二分类问题） 考虑一个二分类器 $D_\theta(x)$，目标是区分数据 $y=1$（真）和噪声 $y=0$（假）。

引理 5.1 后验概率满足：

P(y=1 \mid x) = \frac{p_{\text{data}}(x)}{p_{\text{data}}(x) + \alpha q(x)}

其中 \alpha 是噪声与数据的比例。

定理 5.1（NCE 目标函数） 定义逻辑损失：

\mathcal{L}_{\text{NCE}}(\theta) = \mathbb{E}_{x \sim p_{\text{data}}}[\log D_\theta(x)] + \mathbb{E}_{x \sim q}[\log(1 - D_\theta(x))]

其中判别器具有 logit 形式。设非归一化能量密度 $u_\theta(x) = \exp(-E_\theta(x))$，则：

D_\theta(x) = \sigma\left( \log\frac{u_\theta(x)}{\alpha\, q(x)} \right)

核心优势：NCE 无需计算配分函数 $Z(\theta)$，直接通过噪声对比估计归一化常数。

在最优条件下，可以证明：

D_\theta^*(x) = \frac{p_{\text{data}}(x)}{p_{\text{data}}(x) + \alpha q(x)}

5.3 与 EBM 的联系

定理 5.2 当 N \to \infty 且噪声比例 \alpha 固定时，NCE 估计器满足：

p_\theta(x) \propto \exp(-E_\theta(x))

证明：在最优判别器条件下，

\frac{D_\theta^*(x)}{1 - D_\theta^*(x)} = \frac{p_{\text{data}}(x)}{\alpha q(x)} = \frac{u_\theta(x)}{\alpha q(x)}

其中 $u_\theta(x) = \exp(-E_\theta(x))$。从而 $p_\theta(x) \propto u_\theta(x) = \exp(-E_\theta(x))$。

---

6. Langevin 动力学采样

6.1 Langevin 动力学的定义

定义 6.1（Langevin 动力学） 对于连续变量 $x \in \mathbb{R}^D$，Langevin 动力学定义为离散时间迭代：

x_{t+1} = x_t - \epsilon \nabla_x E_\theta(x_t) + \sqrt{2\epsilon} \, z_t

其中：

• \epsilon > 0 为步长（learning rate / step size）
• z_t \sim \mathcal{N}(0, I) 为标准高斯噪声
• \sqrt{2\epsilon} \, z_t 是扩散项（diffusion term）

6.2 与 MCMC 的关系

定理 6.1（平稳分布） 当步长 \epsilon \to 0 且迭代次数 T \to \infty 时，Langevin 动力学的极限分布为吉布斯分布 $p_\theta(x) \propto \exp(-E_\theta(x))$。

证明（概要）：

1. Fokker-Planck 方程描述概率密度的演化
2. 稳态条件 $\nabla_x \cdot J = 0$（J 为概率流）
3. 唯一解为 p_\theta(x) \propto \exp(-E_\theta(x))

与传统 MCMC 的比较：

方面	Metropolis-Hastings	Langevin 动力学
接受率	需要计算接受率	隐含接受（步长足够小）
proposal	对称 proposal	使用梯度信息
效率	低维高效	高维更高效

6.3 步长选择与收敛性

定理 6.2（收敛条件） 为保证收敛，需要满足：

1. 步长条件：$\epsilon < \epsilon_{\max}$，其中 \epsilon_{\max} 与能量函数的 Lipschitz 常数相关
2. 混合时间：$T_{\text{mix}} = O(D \log(1/\delta))$，其中 D 为维度，\delta 为目标精度

实践建议：

• 步长 \epsilon 通常选择 10^{-4} 到 10^{-2} 之间
• 需要 burn-in 阶段（前 T_0 步不采样）
• 可与 MALA（Metropolis-Adjusted Langevin Algorithm）结合以保证精确接受率

---

7. 与扩散模型的联系

7.1 扩散过程概述

定义 7.1（前向扩散过程） 给定数据 $x_0 \sim p_{\text{data}}$，定义前向扩散过程 ${x_t}_{t=0}^T$：

q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1 - \beta_t} x_{t-1}, \beta_t I)

其中 \beta_t \in (0, 1) 为噪声调度。

定义 7.2（反向过程） 反向过程 \{p_\theta(x_{t-1} \mid x_t)\}_{t=1}^T 是学习的：

p_\theta(x_{t-1} \mid x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \sigma_t^2 I)

7.2 能量函数在 score matching 中的作用

定义 7.3（Score Function） 数据分布的 score 定义为：

\nabla_x \log p(x)

定理 7.1（Score Matching 与 EBM） Score matching 目标函数为 Fisher 散度，即对齐数据真实得分与模型得分：

\mathcal{L}_{\text{SM}}(\theta) = \mathbb{E}_{p_{\text{data}}(x)} \left[ \Big\| \nabla_x \log p_{\text{data}}(x) - \nabla_x \log p_\theta(x) \Big\|_2^2 \right]

注：原文 \|\nabla_x \log p_\theta(x)\|^2 仅是模型得分平方项，是 Fisher 散度的简化形式（忽略常数项），非原始 Score Matching 损失定义。

与 EBM 的联系：

• 能量模型的梯度对应 score function：\nabla_x \log p_\theta(x) = -\nabla_x E_\theta(x)
• 学习能量函数等价于学习 score function

引理 7.1 能量函数 E_\theta(x) 与 score function 的关系：

\nabla_x E_\theta(x) = -\nabla_x \log p_\theta(x)

7.3 能量视角下的去噪扩散

定理 7.2（能量视角） 扩散模型的反向过程可以理解为能量引导的采样：

p_\theta(x_{t-1} \mid x_t) \propto \exp\left( -\frac{\|x_{t-1} - \mu_\theta(x_t, t)\|^2}{2\sigma_t^2} \right)

其中 \mu_\theta(x_t, t) 可以视为由能量函数导出的条件均值。

物理图景：

• 前向过程：逐渐向数据添加噪声（熵增）
• 反向过程：学习能量 landscape，逐渐去除噪声
• EBM 提供统一的理论框架连接两部分

---

附录：常用公式汇总

公式	表达式
吉布斯分布	p_\theta(x) = \exp(-E_\theta(x)) / Z(\theta)
配分函数	Z(\theta) = \int \exp(-E_\theta(x)) dx
对数似然梯度	\nabla_\theta \log p_\theta(x) = -\nabla_\theta E_\theta(x) - \mathbb{E}_{p_\theta}[\nabla_\theta E_\theta(x)]
CD-k 梯度	\approx -\nabla_\theta E_\theta(x) + \nabla_\theta E_\theta(\tilde{x}^{(k)})
伪似然	\mathcal{L}_{\text{PL}} = \sum_i \log p_\theta(x_i \mid x_{-i})
Langevin 动力学	x_{t+1} = x_t - \epsilon \nabla_x E_\theta(x_t) + \sqrt{2\epsilon} z_t
Score function	\nabla_x \log p(x) = -\nabla_x E(x)

---

参考文献

1. LeCun, Y., et al. (2006). A tutorial on energy-based learning. Predicting Structured Data.
2. Hinton, G. E. (2002). Training products of experts by minimizing contrastive divergence. Neural Computation.
3. Du, Y., & Mordatch, I. (2019). Implicit generation and modeling with energy based models. NeurIPS.
4. Gutmann, M., & Hyvärinen, A. (2010). Noise-contrastive estimation: A new estimation principle for unnormalized statistical models. AISTATS.
5. Welling, M., & Teh, Y. W. (2011). Bayesian learning via stochastic gradient Langevin dynamics. ICML.
6. Song, Y., et al. (2021). Score-based generative modeling through stochastic differential equations. ICLR.