291 lines
12 KiB
Markdown
291 lines
12 KiB
Markdown
---
|
||
title: 1-VAE-变分自编码器
|
||
draft: false
|
||
tags:
|
||
- VAE
|
||
- 变分自编码器
|
||
- 生成模型
|
||
- 深度学习
|
||
---
|
||
# 变分自编码器 (VAE) 深度推导
|
||
|
||
## 1. 引言与问题背景
|
||
|
||
**变分推断（Variational Inference, VI）** 是一种近似贝叶斯后验的方法。在生成模型中，我们假设观测数据 $x$ 是由某些隐变量 $z$ 生成的。
|
||
|
||
- **核心目标**：最大化边缘似然的对数 $\log p(x)$（即证据，Evidence），从而学习数据的分布。
|
||
|
||
- **核心困难**：由全概率公式知 $p(x) = \int p(x|z)p(z)dz$。在复杂模型中，这个积分往往是不可积的（Intractable），导致真实后验 $p(z|x) = \frac{p(x,z)}{p(x)}$ 无法直接求解。
|
||
|
||
- **变分策略**：引入一个参数化的简单分布 $q(z)$（通常假设为高斯分布）来逼近复杂的真实后验 $p(z|x)$。
|
||
|
||
|
||
**基本假设**：
|
||
|
||
- 观测数据：$x$
|
||
|
||
- 潜在变量（隐变量）：$z$
|
||
|
||
- 联合分布：$p(x,z) = p(x|z)p(z)$
|
||
|
||
- 变分分布：$q(z)$ 满足 $\int q(z) dz = 1$ 且 $q(z) > 0$（在 $p(x,z)>0$ 的支撑集上）。
|
||
|
||
|
||
---
|
||
|
||
## 2. 证据下界 (ELBO) 的积分推导
|
||
|
||
我们从全概率公式出发，严格使用积分形式进行推导，避免使用期望符号 $\mathbb{E}$，以展现其解析结构。
|
||
|
||
### 2.1 引入变分分布
|
||
|
||
利用恒等式 $\frac{q(z)}{q(z)}=1$ 重写边缘似然：
|
||
|
||
$$p(x) = \int p(x, z) dz = \int \frac{p(x, z)}{q(z)} q(z) dz$$
|
||
|
||
对两边取对数（注意 $\log$ 是单调递增函数）：
|
||
|
||
$$\log p(x) = \log \int \frac{p(x, z)}{q(z)} q(z) dz$$
|
||
|
||
### 2.2 利用 Jensen 不等式
|
||
|
||
**引理：Jensen 不等式的积分形式**
|
||
|
||
对于凹函数（如 $\log$）以及在支撑集内积分为 1 的非负概率密度函数 $q(z)$，有：
|
||
|
||
$$\log \int f(z) q(z) dz \geq \int \log(f(z)) q(z) dz$$
|
||
|
||
设定 $f(z) = \frac{p(x, z)}{q(z)}$，代入上式得到：
|
||
|
||
$$\log p(x) = \log \int \frac{p(x, z)}{q(z)} q(z) dz \geq \int q(z) \log \frac{p(x, z)}{q(z)} dz$$
|
||
|
||
我们定义不等式右侧的积分为 **证据下界（ELBO, Evidence Lower Bound）**，记作 $\mathcal{L}(q; x)$：
|
||
|
||
$$\mathcal{L}(q; x) = \int q(z) \log \frac{p(x, z)}{q(z)} dz$$
|
||
|
||
---
|
||
|
||
## 3. ELBO 的分解与物理含义
|
||
|
||
为了理解优化目标，我们将 ELBO 进行项拆解：
|
||
|
||
### 3.1 三项展开式
|
||
|
||
利用对数运算规则和 $p(x,z) = p(x|z)p(z)$，可以将 ELBO 展开为：
|
||
|
||
$$\mathcal{L}(q; x) = \int q(z) \log p(x|z) dz + \int q(z) \log p(z) dz - \int q(z) \log q(z) dz$$
|
||
|
||
- **第一项：期望重构似然** $\int q(z) \log p(x|z) dz$
|
||
|
||
- 含义：衡量在给定从变分分布抽取的隐变量 $z$ 时，重构原始数据 $x$ 的准确度。在深度学习中对应重构损失。
|
||
|
||
- **第二项：期望对数先验** $\int q(z) \log p(z) dz$
|
||
|
||
- 含义：鼓励变分分布 $q(z)$ 产生的隐变量符合预设的先验分布 $p(z)$（通常是标准正态分布）。
|
||
|
||
- **第三项：变分熵** $H(q) = -\int q(z) \log q(z) dz$
|
||
|
||
- 含义：增加分布的不确定性，防止 $q(z)$ 坍缩为单点（Delta分布），起到正则化作用。
|
||
|
||
|
||
### 3.2 紧凑形式（重构 + KL 散度）
|
||
|
||
在实际模型中，通常将后两项合并：
|
||
|
||
$$\mathcal{L}(q; x) = \int q(z) \log p(x|z) dz - \int q(z) \log \frac{q(z)}{p(z)} dz$$
|
||
|
||
$$\mathcal{L}(q; x) = \text{Reconstruction} - KL(q(z) || p(z))$$
|
||
|
||
这种写法直观地展示了 VAE 的权衡：**最大化似然的同时，最小化变分分布与先验分布之间的距离。**
|
||
|
||
---
|
||
|
||
## 4. KL 散度与紧致性证明
|
||
|
||
我们要证明 $\log p(x)$ 与 $\mathcal{L}(q; x)$ 之间的差距正是变分分布与真实后验之间的 KL 散度。
|
||
|
||
$$\log p(x) - \mathcal{L}(q; x) = \log p(x) - \int q(z) \log \frac{p(x, z)}{q(z)} dz$$
|
||
|
||
由于 $\int q(z) dz = 1$，常数 $\log p(x)$ 可以移入积分：
|
||
|
||
$$= \int q(z) \log p(x) dz - \int q(z) \log \frac{p(x, z)}{q(z)} dz$$
|
||
|
||
$$= \int q(z) \left( \log p(x) - \log \frac{p(x, z)}{q(z)} \right) dz$$
|
||
|
||
$$= \int q(z) \log \frac{p(x) q(z)}{p(x, z)} dz$$
|
||
|
||
代入贝叶斯公式 $p(x, z) = p(z|x) p(x)$：
|
||
|
||
$$= \int q(z) \log \frac{p(x) q(z)}{p(z|x) p(x)} dz = \int q(z) \log \frac{q(z)}{p(z|x)} dz$$
|
||
|
||
$$= KL(q(z) || p(z|x))$$
|
||
|
||
**结论：**
|
||
|
||
$$\log p(x) = \mathcal{L}(q; x) + KL(q(z) || p(z|x))$$
|
||
|
||
因为 $KL \geq 0$，所以 $\log p(x) \geq \mathcal{L}(q; x)$ 始终成立。当且仅当 $q(z) = p(z|x)$ 时，KL 散度为 0，下界等号成立。由于 $\log p(x)$ 由数据决定且相对于参数 $\phi$ 为常数，**最大化 ELBO 等价于最小化变分分布与真实后验的 KL 散度。**
|
||
|
||
---
|
||
|
||
## 5. VAE 模型实现：重参数化与架构
|
||
|
||
为了将上述推导转化为可训练的网络，需要解决采样过程中的梯度传播问题。
|
||
|
||
### 5.1 重参数化技巧 (Reparameterization Trick)
|
||
|
||
在 VAE 中，$q(z|x)$ 通常被参数化为高斯分布 $\mathcal{N}(\mu, \sigma^2)$，其中 $\mu$ 和 $\sigma$ 是编码器的输出。
|
||
|
||
直接从 $\mathcal{N}(\mu, \sigma^2)$ 采样 $z$ 是不可微的。我们引入噪声变量 $\epsilon \sim \mathcal{N}(0, I)$，令：
|
||
|
||
$$z = \mu + \sigma \odot \epsilon$$
|
||
|
||
这样，$z$ 的随机性转移到了 $\epsilon$ 上，而对于参数 $\mu$ 和 $\sigma$ 则是确定性的线性变换，梯度可以通过 $z$ 回传给编码器。
|
||
|
||
### 5.2 损失函数构造
|
||
|
||
在深度学习中，我们通常最小化损失函数 $\text{Loss} = -\mathcal{L}$。
|
||
|
||
对于单个样本，损失函数为：
|
||
|
||
$$\text{Loss}(x) = ||x - \hat{x}||^2 + KL(\mathcal{N}(\mu, \sigma^2) || \mathcal{N}(0, I))$$
|
||
|
||
- **重构误差**：常用 MSE 或交叉熵。
|
||
|
||
- **KL 正则项**：对于高斯分布有解析解（每个维度 $i$ 独立求和）：
|
||
|
||
$$KL = -\frac{1}{2} \sum_{i=1}^D \left( 1 + \log \sigma_i^2 - \mu_i^2 - \sigma_i^2 \right)$$
|
||
|
||
其中 $D$ 是隐变量的维度，$\mu_i$ 和 $\sigma_i^2$ 分别是第 $i$ 维的均值和方差。
|
||
|
||
|
||
### 5.3 架构流程
|
||
|
||
1. **Encoder ($q_\phi(z|x)$)**：输入 $x$，映射到均值 $\mu$ 和方差对数 $\log \sigma^2$。
|
||
|
||
2. **Sampling**：使用重参数化得到隐码 $z$。
|
||
|
||
3. **Decoder ($p_\theta(x|z)$)**：从 $z$ 重构出 $\hat{x}$。
|
||
|
||
4. **Optimization**：通过反向传播同时更新 $\phi$ 和 $\theta$。
|
||
|
||
|
||
---
|
||
|
||
## 6. KL 散度的解析推导（高斯分布情形）
|
||
|
||
我们给出 VAE 中最常见情形下的 KL 闭式解：高斯先验 $p(z) = \mathcal{N}(0, I)$，高斯变分 $q_\phi(z|x) = \mathcal{N}(\mu, \text{diag}(\sigma^2))$。
|
||
|
||
### 6.1 推导过程
|
||
|
||
设 $z \in \mathbb{R}^D$，记 $q(z) = \mathcal{N}(\mu, \text{diag}(\sigma^2))$，$p(z) = \mathcal{N}(0, I)$。
|
||
|
||
$$KL(q \| p) = \int q(z) \log \frac{q(z)}{p(z)} dz = \mathbb{E}_{q(z)}[\log q(z) - \log p(z)]$$
|
||
|
||
对两项分别计算。
|
||
|
||
**第一项：$\mathbb{E}_{q(z)}[\log q(z)]$**
|
||
|
||
$$= \mathbb{E}_{q(z)}\left[ -\frac{D}{2}\log(2\pi) - \frac{1}{2}\sum_{i=1}^D \log \sigma_i^2 - \frac{1}{2}\sum_{i=1}^D \frac{(z_i - \mu_i)^2}{\sigma_i^2} \right]$$
|
||
|
||
由于 $\mathbb{E}_{q(z)}[(z_i - \mu_i)^2] = \sigma_i^2$，代入得：
|
||
|
||
$$\mathbb{E}_{q(z)}[\log q(z)] = -\frac{D}{2}\log(2\pi) - \frac{1}{2}\sum_{i=1}^D \log \sigma_i^2 - \frac{D}{2}$$
|
||
|
||
**第二项：$\mathbb{E}_{q(z)}[\log p(z)]$**
|
||
|
||
由于 $z_i \sim \mathcal{N}(\mu_i, \sigma_i^2)$，有 $\mathbb{E}_{q(z)}[z_i^2] = \mu_i^2 + \sigma_i^2$：
|
||
|
||
$$\mathbb{E}_{q(z)}[\log p(z)] = \mathbb{E}_{q(z)}\left[ -\frac{D}{2}\log(2\pi) - \frac{1}{2}\sum_{i=1}^D z_i^2 \right] = -\frac{D}{2}\log(2\pi) - \frac{1}{2}\sum_{i=1}^D (\mu_i^2 + \sigma_i^2)$$
|
||
|
||
**合并两项**：
|
||
|
||
$$KL = \left[ -\frac{D}{2}\log(2\pi) - \frac{1}{2}\sum_{i=1}^D \log \sigma_i^2 - \frac{D}{2} \right] - \left[ -\frac{D}{2}\log(2\pi) - \frac{1}{2}\sum_{i=1}^D (\mu_i^2 + \sigma_i^2) \right]$$
|
||
|
||
$$= -\frac{1}{2}\sum_{i=1}^D \log \sigma_i^2 - \frac{D}{2} + \frac{1}{2}\sum_{i=1}^D (\mu_i^2 + \sigma_i^2)$$
|
||
|
||
$$= \frac{1}{2}\sum_{i=1}^D \left( \mu_i^2 + \sigma_i^2 - \log \sigma_i^2 - 1 \right)$$
|
||
|
||
**直觉解释**：第一项 $\mu_i^2$ 鼓励均值接近 0（与先验对齐）；第二项 $\sigma_i^2 - \log \sigma_i^2 - 1$ 惩罚方差偏离 1（当 $\sigma_i^2 = 1$ 时最小）。
|
||
|
||
---
|
||
|
||
## 7. 与 EM 算法的关系
|
||
|
||
VAE 与 EM（Expectation-Maximization）算法有深刻的联系，但存在关键区别。
|
||
|
||
### 7.1 EM 算法回顾
|
||
|
||
EM 算法用于求解存在隐变量的最大似然估计，通过交替优化逼近对数似然：
|
||
|
||
**E步**：给定当前参数 $\theta^{(t)}$，计算隐变量 $z$ 的后验分布：
|
||
|
||
$$q(z) = p(z|x; \theta^{(t)})$$
|
||
|
||
**M步**：最大化关于 $\theta$ 的期望对数似然：
|
||
|
||
$$\theta^{(t+1)} = \arg\max_\theta \int q(z) \log \frac{p(x, z; \theta)}{q(z)} dz$$
|
||
|
||
### 7.2 VAE 与 EM 的对应关系
|
||
|
||
| EM 算法 | VAE | 核心区别 |
|
||
|---------|-----|---------|
|
||
| E步：推断 $p(z|x)$ | Encoder $q_\phi(z|x)$ | EM 中精确求解；VAE 中用神经网络近似 |
|
||
| M步：更新 $\theta$ | Decoder $p_\theta(x|z)$ | EM 中精确优化；VAE 中用梯度下降 |
|
||
| 目标：$\max \mathcal{L}$ | $\max \mathcal{L}$ | 共享 ELBO 形式 |
|
||
|
||
### 7.3 关键区别：变分间隙
|
||
|
||
**EM 算法**中，$q(z) = p(z|x; \theta)$ 是真实后验，此时 ELBO 等于对数似然 $\log p(x; \theta)$，通过迭代可以找到局部最优。
|
||
|
||
**VAE** 中，由于 $q_\phi(z|x)$ 是参数化的近似分布（通常是高斯族），而非真实后验，因此存在**变分间隙（Variational Gap）**：
|
||
|
||
$$\log p(x) - \mathcal{L}(q_\phi, \theta) = KL(q_\phi(z|x) \| p(z|x; \theta)) \geq 0$$
|
||
|
||
这意味着 VAE 只能找到似然的下界，而非真实值。这是变分推断的本质限制，也是 VAE 与 EM 的根本区别。
|
||
|
||
---
|
||
|
||
## 8. 重参数化技巧的深入理解
|
||
|
||
### 8.1 为何需要重参数化
|
||
|
||
假设直接从 $q_\phi(z|x) = \mathcal{N}(\mu, \sigma^2)$ 采样：
|
||
|
||
$$z \sim \mathcal{N}(\mu, \sigma^2)$$
|
||
|
||
这个采样操作是不可导的。采样结果的期望 $\mathbb{E}[z] = \mu$ 依赖于 $\phi$，但采样过程本身引入了随机性，无法计算反向梯度。
|
||
|
||
### 8.2 重参数化的数学保证
|
||
|
||
**定理**：设 $\epsilon \sim \mathcal{N}(0, I)$，定义 $z = \mu + \sigma \odot \epsilon$，则 $z \sim \mathcal{N}(\mu, \text{diag}(\sigma^2))$。
|
||
|
||
**证明**：令 $z = \mu + L\epsilon$，其中 $L$ 是协方差矩阵 $\Sigma = \text{diag}(\sigma^2)$ 的 Cholesky 分解（对于对角协方差，$L = \text{diag}(\sigma)$）。
|
||
|
||
对任意可测函数 $g(z)$，做变量替换 $z = \mu + L\epsilon$，$dz = |\det(L)| d\epsilon$：
|
||
|
||
$$\mathbb{E}_{z \sim \mathcal{N}(\mu, \Sigma)}[g(z)] = \int g(z) \frac{1}{(2\pi)^{D/2}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(z-\mu)^T \Sigma^{-1}(z-\mu)\right) dz$$
|
||
|
||
$$= \int g(\mu + L\epsilon) \frac{1}{(2\pi)^{D/2}} \exp\left(-\frac{1}{2}\epsilon^T \epsilon\right) d\epsilon = \mathbb{E}_{\epsilon \sim \mathcal{N}(0,I)}[g(\mu + L\epsilon)]$$
|
||
|
||
因此 $z$ 的分布与 $\mu + \sigma \odot \epsilon$ 相同。
|
||
|
||
### 8.3 梯度计算
|
||
|
||
重构损失为 $L = \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]$。由于重参数化，$z = \mu_\phi(x) + \sigma_\phi(x) \odot \epsilon$，对参数 $\phi$ 的梯度可通过交换积分与微分顺序得到：
|
||
|
||
$$\nabla_\phi \mathbb{E}_{\epsilon \sim \mathcal{N}(0,I)}[\log p_\theta(x|\mu_\phi(x) + \sigma_\phi(x) \odot \epsilon)] = \mathbb{E}_{\epsilon \sim \mathcal{N}(0,I)}\left[\nabla_\phi \log p_\theta(x|z)\right]$$
|
||
|
||
这使得我们可以用蒙特卡洛估计来近似期望，并通过标准的反向传播计算梯度。
|
||
|
||
---
|
||
|
||
## 9. 理论严谨性补充
|
||
|
||
1. **支撑（Support）一致性**：Jensen 不等式的应用前提是 $q(z)$ 在 $p(x,z) > 0$ 的区域内不为 0。如果变分分布的支撑集小于真实分布，$\frac{p}{q}$ 可能会发散。
|
||
|
||
2. **期望符号的回归**：虽然推导过程中使用积分以显其严谨，但在实现时，积分 $\int q(z) [...] dz$ 通过蒙特卡洛采样（Monte Carlo Sampling）来近似，这正是为什么在深度学习代码中我们会看到对样本取平均（期望）的原因。
|
||
|
||
3. **等号成立条件**：$\text{ELBO} = \log p(x)$ 意味着我们完美找到了后验分布。但在实际中，受限于 $q(z)$ 的函数族（如只能是高斯），KL 散度通常不为 0，这个残差被称为 **变分间隙（Variational Gap）**。
|
||
|
||
4. **KL 散度的非对称性**：注意 $KL(q \| p) \neq KL(p \| q)$。在 VAE 中我们使用的是 $KL(q(z|x) \| p(z))$，这意味着我们是在最小化从近似后验到先验的距离，而非相反。这个方向的选择是出于计算便利性（高斯到高斯的 KL 有解析解），但也可能导致其他问题（如后验坍缩）。 |