765 lines
27 KiB
Markdown
765 lines
27 KiB
Markdown
---
|
||
title: 03-NeRF与3D生成
|
||
draft: false
|
||
tags:
|
||
- NeRF
|
||
- 3D生成
|
||
- 多模态
|
||
- 生成模型
|
||
---
|
||
|
||
# NeRF 与 3D 生成
|
||
|
||
> **面向读者**：深度学习与生成式模型科研人员
|
||
> **更新日期**：2026-05-14
|
||
> **预备知识**：神经渲染、体积渲染、扩散模型基础
|
||
|
||
---
|
||
|
||
## 1. NeRF（Neural Radiance Field）基础
|
||
|
||
### 1.1 神经渲染场的基本思想
|
||
|
||
NeRF 是一种神经渲染方法，它将场景表示为**连续的颜色场**与**密度场**的隐式函数。给定三维空间位置 $\mathbf{x} \in \mathbb{R}^3$ 和观察方向 $\mathbf{d} \in \mathbb{R}^2$（通常表示为球坐标 $(\theta, \phi)$ 或单位向量），NeRF 用一个神经网络 $F_\theta$ 来建模辐射场：
|
||
|
||
$$
|
||
F_\theta: (\mathbf{x}, \mathbf{d}) \to (\mathbf{c}, \sigma)
|
||
$$
|
||
|
||
其中：
|
||
- $\mathbf{c} = (c_r, c_g, c_b) \in \mathbb{R}^3$ 是辐射颜色（RGB）
|
||
- $\sigma \in \mathbb{R}$ 是体积密度（也称为不透明度）
|
||
|
||
**核心假设**：场景被建模为连续的光场，密度 $\sigma(\mathbf{x})$ 描述了在位置 $\mathbf{x}$ 处存在微小粒子的概率，颜色 $\mathbf{c}(\mathbf{x}, \mathbf{d})$ 描述了从方向 $\mathbf{d}$ 观察时该位置发出的光颜色。
|
||
|
||
**网络架构**：原始 NeRF 使用 MLP 网络，通常结构如下：
|
||
1. 输入位置 $\mathbf{x}$ 通过多层全连接层（8层，256通道）输出 $\sigma$ 和中间特征
|
||
2. 中间特征与观察方向 $\mathbf{d}$ 拼接后，通过额外的全连接层输出颜色 $\mathbf{c}$
|
||
|
||
### 1.2 体积渲染方程（Volume Rendering Equation）
|
||
|
||
在离散化场景下，给定相机光线 $\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$，其中 $\mathbf{o}$ 是相机原点，$\mathbf{d}$ 是光线方向，NeRF 的体积渲染方程为：
|
||
|
||
$$
|
||
C(\mathbf{r}) = \int_{t_n}^{t_f} T(t) \cdot \sigma(\mathbf{r}(t)) \cdot \mathbf{c}(\mathbf{r}(t), \mathbf{d}) \, dt
|
||
$$
|
||
|
||
其中 $t_n$ 和 $t_f$ 分别是近平面和远平面距离。
|
||
|
||
**透射比（Transmittance）** $T(t)$ 表示光线从 $t_n$ 到 $t$ 路段上**没有**被任何粒子拦截的概率：
|
||
|
||
$$
|
||
T(t) = \exp\left(-\int_{t_n}^{t} \sigma(\mathbf{r}(s)) \, ds\right)
|
||
$$
|
||
|
||
**物理直觉**：
|
||
- 当密度 $\sigma$ 较高时，$T(t)$ 快速衰减，表示光束被遮挡
|
||
- 当密度 $\sigma = 0$ 时，$T(t) = 1$，表示光线自由通过
|
||
|
||
**离散近似**：实际实现中，将光线在 $[t_n, t_f]$ 区间划分为 $N$ 个均匀网格：
|
||
|
||
$$
|
||
\hat{C}(\mathbf{r}) = \sum_{i=1}^{N} T_i \cdot (1 - \exp(-\sigma_i \delta_i)) \cdot \mathbf{c}_i
|
||
$$
|
||
|
||
其中 $\delta_i = t_{i+1} - t_i$ 是区间长度，$T_i = \exp\left(-\sum_{j=1}^{i-1} \sigma_j \delta_j\right)$ 是累积透射比。
|
||
|
||
**更简洁的形式**：令 $\alpha_i = 1 - \exp(-\sigma_i \delta_i)$，则：
|
||
|
||
$$
|
||
\hat{C}(\mathbf{r}) = \sum_{i=1}^{N} \left( \prod_{j=1}^{i-1} (1 - \alpha_j) \right) \cdot \alpha_i \cdot \mathbf{c}_i
|
||
$$
|
||
|
||
这与 alpha blending 的形式完全一致，其中 $\alpha_i$ 可视为第 $i$ 个粒子的不透明度。
|
||
|
||
### 1.3 位置编码（Positional Encoding）与多分辨率
|
||
|
||
**问题**：MLP 直接输入 $(\mathbf{x}, \mathbf{d})$ 难以表达高频变化（如纹理、边缘）。低频偏差是神经网络在高维空间中学习的固有困难。
|
||
|
||
**解决方案**：将输入映射到高频空间：
|
||
|
||
$$
|
||
\gamma(\mathbf{p}) = (\sin(2^0 \pi \mathbf{p}), \cos(2^0 \pi \mathbf{p}), \sin(2^1 \pi \mathbf{p}), \cos(2^1 \pi \mathbf{p}), \ldots, \sin(2^{L-1} \pi \mathbf{p}), \cos(2^{L-1} \pi \mathbf{p}))
|
||
$$
|
||
|
||
对于位置 $\mathbf{x} \in \mathbb{R}^3$ 和方向 $\mathbf{d} \in \mathbb{R}^2$：
|
||
- $\mathbf{x}$ 编码为 $3 \times 2L$ 维向量（原始论文 $L=10$）
|
||
- $\mathbf{d}$ 编码为 $2 \times 2L$ 维向量（原始论文 $L=4$）
|
||
|
||
**直觉理解**：位置编码等价于在傅里叶基下展开，能够用低维神经网络表示高频函数。这与核方法中的随机傅里叶特征（Random Fourier Features）有深刻联系。
|
||
|
||
**多分辨率策略**：Fourielocs 等工作探索了自适应选择编码频率的方法，对近处物体使用高频编码，对远处物体使用低频编码。
|
||
|
||
---
|
||
|
||
## 2. NeRF 的训练与优化
|
||
|
||
### 2.1 像素级重建损失
|
||
|
||
NeRF 的监督信号来自多视角图像重建。给定多条相机光线 $\{\mathbf{r}_i\}$ 和对应像素颜色 $\{C_{gt}(\mathbf{r}_i)\}$，优化目标是**均方误差损失**：
|
||
|
||
$$
|
||
\mathcal{L}(\theta) = \sum_{i} \left\| \hat{C}(\mathbf{r}_i; \theta) - C_{gt}(\mathbf{r}_i) \right\|_2^2
|
||
$$
|
||
|
||
其中 $\hat{C}(\mathbf{r}_i; \theta)$ 是沿光线采样的体积渲染颜色。
|
||
|
||
**训练流程**：
|
||
1. 对每个像素，从相机原点发射光线 $\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$
|
||
2. 在光线沿线采样 $N$ 个点，查询 NeRF 网络
|
||
3. 体积渲染得到预测颜色 $\hat{C}(\mathbf{r})$
|
||
4. 计算重建损失并反向传播
|
||
|
||
**稀疏视角问题**：NeRF 通常需要数十到数百张视角的图像进行训练。稀疏视角重建（Few-shot NeRF）是一个重要研究方向。
|
||
|
||
### 2.2 层级采样（Hierarchical Sampling）
|
||
|
||
**问题**：均匀采样效率低下——大部分空间密度接近零（空旷区域），仅在物体表面附近有高密度区域。
|
||
|
||
**解决方案**：采用两阶段层级采样策略。
|
||
|
||
**第一阶段（粗网络）**：沿光线均匀采样 $N_c$ 个点，计算粗略的不透明度分布：
|
||
|
||
$$
|
||
\hat{C}_c(\mathbf{r}) = \sum_{i=1}^{N_c} w_i \cdot \mathbf{c}_i, \quad w_i = T_i \cdot (1 - \exp(-\sigma_i \delta_i))
|
||
$$
|
||
|
||
其中权重 $w_i$ 表征第 $i$ 个采样点对最终颜色的贡献程度。
|
||
|
||
**第二阶段（细网络）**：根据 $w_i$ 的分布进行**重要性采样**，在权重大的区域（物体表面）附近采样更多点：
|
||
|
||
$$
|
||
N_f \text{ 个新样本} \sim p(t) \propto w(t), \quad t \in [t_n, t_f]
|
||
$$
|
||
|
||
具体实现：对权重归一化得到概率分布，在该分布上进行采样。
|
||
|
||
**数值稳定性**：实践中通常对权重进行最大值归一化，防止极端值主导：
|
||
|
||
$$
|
||
\bar{w}_i = \frac{w_i}{\sum_j w_j + \epsilon}
|
||
$$
|
||
|
||
### 2.3 训练效率问题与改进
|
||
|
||
#### 2.3.1 Instant NGP（Instant Neural Graphics Primitives）
|
||
|
||
**核心创新**：用 **Multi-Resolution Hash Encoding** 替代 MLP 直接处理坐标，大幅加速训练。
|
||
|
||
**哈希编码**：将输入坐标 $\mathbf{x}$ 映射到多分辨率网格，通过哈希表存储可学习的特征：
|
||
|
||
$$
|
||
\gamma(\mathbf{x}) = \text{lerp}\left( \mathbf{V}_{\lfloor \mathbf{x} \rfloor}^{\text{level } l}, \mathbf{V}_{\lceil \mathbf{x} \rceil}^{\text{level } l} \right), \quad l = 1, \ldots, L
|
||
$$
|
||
|
||
其中 $\mathbf{V}$ 是多层哈希表，$\text{lerp}$ 是线性插值。
|
||
|
||
**关键优势**：
|
||
- 网格分辨率随维度指数增长：$O(L \cdot 2^L)$ 参数量 vs $O(1)$ 内存访问
|
||
- 绕过 MLP 的高频学习困难——网格插值天然提供高频建模能力
|
||
- 端到端可微，梯度可通过哈希表反向传播
|
||
|
||
**性能提升**：从数小时缩短到秒级（百万倍加速）。
|
||
|
||
#### 2.3.2 Mip-NeRF（Mipmap NeRF）
|
||
|
||
**问题**：NeRF 在抗锯齿和远距离场景中表现不佳，原因是像素对应的光锥被建模为无限细的光线。
|
||
|
||
**解决方案**：引入**锥体渲染（Cone Rendering）**，每个像素对应一个视锥而非光线：
|
||
|
||
- 像素 $(u, v)$ 对应相机原点 $\mathbf{o}$ 和主方向 $\mathbf{d}$，加上垂直于 $\mathbf{d}$ 的扩展向量
|
||
- 采样点在椎体内呈高斯分布，用**集成位置编码（Integrated Positional Encoding）**描述
|
||
|
||
**IPE（Integrated Positional Encoding）**：
|
||
|
||
$$
|
||
\gamma_{IPE}(\mathbf{x}, \Sigma) = \int_{\mathcal{N}(\mathbf{x}, \Sigma)} \gamma(\mathbf{p}) \, d\mathbf{p}
|
||
$$
|
||
|
||
对于高斯分布 $\mathcal{N}(\mathbf{x}, \Sigma)$，IPE 可解析计算为：
|
||
|
||
$$
|
||
\gamma_{IPE}(\mathbf{x}, \Sigma)_k = \exp\left(-\frac{1}{2} \mathbf{k}^T \Sigma \mathbf{k}\right) \cdot \sin/\cos\left(\mathbf{k}^T \mathbf{x}\right)
|
||
$$
|
||
|
||
其中 $\mathbf{k} = 2^\kappa \pi \mathbf{d}$ 是频率向量。
|
||
|
||
---
|
||
|
||
## 3. 3D 生成模型
|
||
|
||
### 3.1 DreamFusion：NeRF + 扩散模型
|
||
|
||
**核心思想**：利用预训练 2D 扩散模型作为监督信号，优化随机初始化的 NeRF，实现文本到 3D 的生成。
|
||
|
||
**框架**：
|
||
1. 随机初始化 NeRF 参数 $\theta$
|
||
2. 从随机视角渲染 NeRF 得到图像 $g(\theta) = \text{Render}(\theta, \pi)$
|
||
3. 用扩散模型 $\epsilon_\phi$ 评估渲染图像的质量
|
||
4. 通过 **SDS Loss** 反向传播优化 $\theta$
|
||
|
||
**SDS（Score Distillation Sampling）损失**：
|
||
|
||
$$
|
||
\nabla_\theta \mathcal{L}_{\mathrm{KL}}(\theta) = \mathbb{E}_{t, \epsilon}\left[ w(t) \cdot (\epsilon - \epsilon_\phi(\alpha_t \cdot g(\theta) + \sigma_t \epsilon, t)) \cdot \nabla_\theta g(\theta) \right]
|
||
$$
|
||
|
||
其中：
|
||
- $t \sim \mathcal{U}(0, 1)$ 是噪声时间步
|
||
- $\epsilon \sim \mathcal{N}(0, I)$ 是随机噪声
|
||
- $\alpha_t, \sigma_t$ 是 DDPM 的调度参数（$\alpha_t = \sqrt{1 - \sigma_t^2}$）
|
||
- $w(t)$ 是权重函数（通常设为 $1$ 或 $\sigma_t$）
|
||
- $\epsilon_\phi(\cdot, t)$ 是预训练扩散模型预测的噪声
|
||
|
||
**物理直觉**：
|
||
- $\epsilon_\phi(\mathbf{x}_t, t)$ 预测 $\mathbf{x}_t$ 中的噪声
|
||
- $\epsilon - \epsilon_\phi$ 是朗之万梯度的方向，指向扩散模型认为"更可能"的样本
|
||
- 通过 chain rule $\nabla_\theta g(\theta)$ 将该梯度传递到 3D 生成器
|
||
|
||
**DreamFusion 流程**：
|
||
|
||
```
|
||
Algorithm: DreamFusion
|
||
Input: 文本提示 y, 预训练扩散模型 ε_φ, NeRF 参数 θ
|
||
Output: 生成 3D 场景
|
||
|
||
1. θ ← 随机初始化
|
||
2. for iteration = 1 to N do
|
||
3. π ← 随机相机视角 (位置 + 方向)
|
||
4. g(θ) ← Render(NeRF(θ), π) // 渲染图像
|
||
5. t ∼ U(0,1), ε ∼ N(0,I)
|
||
6. x_t ← α_t · g(θ) + σ_t · ε
|
||
7. ε_φ ← ε_φ(x_t, t, y) // 文本条件
|
||
8. ∇_θ ← w(t) · (ε - ε_φ) · ∂g(θ)/∂θ
|
||
9. θ ← θ - η · ∇_θ // 梯度下降
|
||
10. end for
|
||
11. return θ
|
||
```
|
||
|
||
**DreamFusion 的问题**：
|
||
- Janus 问题：模型对同一物体生成多个正面
|
||
- 过度饱和、纹理模糊
|
||
- 每样本需要数十分钟优化
|
||
|
||
### 3.2 Zero-1-to-3：Novel View Synthesis
|
||
|
||
**核心思想**：训练一个条件扩散模型，直接预测新视角图像，而非优化 NeRF。
|
||
|
||
**方法**：
|
||
1. 收集大量 3D 物体数据集（如 Objaverse）
|
||
2. 每个物体渲染多个视角的图像
|
||
3. 训练条件扩散模型 $\epsilon_\phi(\mathbf{x}_{t'}, t' | \mathbf{x}_0, \Delta \pi)$
|
||
|
||
其中 $\mathbf{x}_0$ 是源视角图像，$\Delta \pi$ 是相机位姿变化（相对位置和旋转）。
|
||
|
||
**条件输入**：将源视角图像和相机参数编码后与噪声拼接，输入 U-Net。
|
||
|
||
**应用场景**：
|
||
- 给定单张图像，生成同一物体的新视角
|
||
- 通过新视角一致性实现 3D 重建（如 SparseFusion）
|
||
|
||
**与 DreamFusion 对比**：
|
||
- Zero-1-to-3 是前馈模型，无需迭代优化
|
||
- 但需要大量 3D 数据进行训练
|
||
- 泛化能力受限于训练数据分布
|
||
|
||
### 3.3 Magic3D：高分辨率 3D 生成
|
||
|
||
**核心创新**：两阶段生成框架，结合高分辨率扩散模型。
|
||
|
||
**Stage 1（粗阶段）**：
|
||
- 使用低分辨率扩散模型（64×64）生成 NeRF
|
||
- 类似 DreamFusion，通过 SDS 优化
|
||
|
||
**Stage 2（细阶段）**：
|
||
- 将 NeRF 转换为 **DMTet**（Differentiable Mesh Tetrahedron）表示
|
||
- 使用高分辨率扩散模型（512×512）进行纹理优化
|
||
|
||
**DMTet**：
|
||
- 将 3D 空间划分为四面体网格
|
||
- 通过可学习的顶点位置和符号距离场（SDF）表示 mesh
|
||
- 完全可微，支持端到端训练
|
||
|
||
**优势**：
|
||
- 保留 DreamFusion 的通用性（无需 3D 训练数据）
|
||
- 生成高分辨率纹理（vs DreamFusion 的模糊输出）
|
||
- 显著加速（分钟级 vs 小时级）
|
||
|
||
---
|
||
|
||
## 4. 3D 表示方法对比
|
||
|
||
### 4.1 Voxel（体素）
|
||
|
||
**密集体素**：将 3D 空间划分为均匀网格，每个格子存储占用概率或特征向量。
|
||
|
||
**表示容量**：$N^3$ 网格有 $N^3$ 个参数。对于高分辨率（如 $512^3$），内存开销巨大。
|
||
|
||
**稀疏体素（Sparse Voxel）**：
|
||
- 仅在物体表面附近存储体素
|
||
- Octree 结构：非空节点递归细分
|
||
- 代表工作：Octree-SCNN、VoxelNet
|
||
|
||
**存储复杂度**：
|
||
| 分辨率 | 密集体素 | 八叉树（稀疏） |
|
||
|--------|----------|----------------|
|
||
| $64^3$ | 262K | ~10K |
|
||
| $256^3$ | 16.7M | ~50K |
|
||
| $512^3$ | 134M | ~200K |
|
||
|
||
**与 NeRF 对比**：体素是离散表示，分辨率受限于内存；NeRF 是连续表示，可任意分辨率渲染。
|
||
|
||
### 4.2 Point Cloud（点云）
|
||
|
||
**表示**：3D 点集合 $\{p_i = (x_i, y_i, z_i)\}_{i=1}^N$，每个点可有额外特征（颜色、法向量等）。
|
||
|
||
**处理方法**：PointNet 系列
|
||
- PointNet：共享 MLP 处理每个点，然后全局池化
|
||
- PointNet++：层次化聚合，捕获局部结构
|
||
|
||
**优势**：
|
||
- 直接处理原始传感器数据（LiDAR、RGB-D）
|
||
- 内存效率高（可变点数）
|
||
|
||
**劣势**：
|
||
- 无拓扑结构（点间无连接）
|
||
- 难以表示光滑表面
|
||
- 不适合 GPU 加速的光栅化渲染
|
||
|
||
**3D 生成应用**：Point-E、Cloud Diffusion
|
||
|
||
### 4.3 Mesh（神经网格）
|
||
|
||
**三角网格**：由顶点坐标和面索引构成，是计算机图形学的标准表示。
|
||
|
||
**神经网格（Neural Mesh）**：
|
||
- MeshCNN：用图卷积处理 mesh 面片
|
||
- NKSR（Neural Kernel Surface Reconstruction）：将 NeRF 监督转化为 mesh
|
||
|
||
**Differentiable Mesh Rendering**：
|
||
- Soft rasterization：可微渲染器，将 mesh 投影为图像
|
||
- 梯度可从 2D 图像反向传播到 mesh 顶点
|
||
|
||
**DMTet（Differentiable Tetrahedral Mesh）**：
|
||
- 扩展的 tetrahedron 而非三角形
|
||
- 每个顶点的 SDF 值可学习
|
||
- 表面通过 marching tetrahedra 算法提取
|
||
|
||
### 4.4 Triplane（三平面表示）
|
||
|
||
**核心思想**：用三个正交的 2D 特征平面表示 3D 场景。
|
||
|
||
**表示**：给定 3D 点 $\mathbf{x} = (x, y, z)$，查询三平面特征：
|
||
|
||
$$
|
||
\mathbf{f}(\mathbf{x}) = F_{xy}(x, y) + F_{xz}(x, z) + F_{yz}(y, z)
|
||
$$
|
||
|
||
其中 $F_{xy}, F_{xz}, F_{yz}$ 是三个 2D 特征图，通常用 CNN 或 MLP 编码。
|
||
|
||
**EG3D（Efficient Geometry-Aware 3D GAN）**：
|
||
- 使用 triplane 表示结合 StyleGAN2
|
||
- 可控的相机姿态和形状编辑
|
||
- 高效渲染：只需三个特征图采样 + MLP 解码
|
||
|
||
**优势**：
|
||
- 2D 卷积处理 3D 表示，效率高
|
||
- 与 2D 生成模型（如 GAN、扩散）兼容性好
|
||
- 支持高分辨率（1024×1024+）
|
||
|
||
**劣势**：
|
||
- 三平面交点处可能存在不一致
|
||
- 难以精确表示复杂拓扑
|
||
|
||
### 4.5 Gaussian Splatting（3D Gaussian Scatter）
|
||
|
||
**核心思想**：用一组 3D 高斯分布表示场景，每个高斯 $\mathcal{G}_i$ 由均值 $\mu_i \in \mathbb{R}^3$ 和协方差 $\Sigma_i \in \mathbb{R}^{3 \times 3}$ 定义。
|
||
|
||
**高斯函数**：
|
||
|
||
$$
|
||
G_i(\mathbf{x}) = \exp\left(-\frac{1}{2} (\mathbf{x} - \mu_i)^T \Sigma_i^{-1} (\mathbf{x} - \mu_i)\right)
|
||
$$
|
||
|
||
**属性**：
|
||
- 颜色 $c_i \in \mathbb{R}^3$
|
||
- 不透明度 $\alpha_i \in \mathbb{R}$
|
||
|
||
**渲染**：通过**tile-based splatting**，将高斯投影到 2D，排序后 alpha 混合：
|
||
|
||
$$
|
||
C = \sum_{i \in \mathrm{KL}} \alpha_i \cdot G_i'(x, y) \cdot c_i \cdot \prod_{j < i} (1 - \alpha_j \cdot G_j'(x, y))
|
||
$$
|
||
|
||
其中 $G_i'(x, y)$ 是 3D 高斯在 2D 屏幕空间的投影。
|
||
|
||
**训练**：
|
||
- 从随机初始化或 SfM 点云开始
|
||
- 梯度反传更新 $\mu_i, \Sigma_i, \alpha_i, c_i$
|
||
- 定期**高斯分裂**（大高斯分裂为小高斯）和**修剪**（删除低不透明度高斯）
|
||
|
||
**与 NeRF 对比**：
|
||
| 特性 | NeRF | Gaussian Splatting |
|
||
|------|------|---------------------|
|
||
| 表示类型 | 神经网络（隐式） | 高斯分布（显式） |
|
||
| 渲染速度 | 慢（逐点 MLP） | 快（GPU splatting） |
|
||
| 编辑能力 | 困难 | 容易（逐高斯控制） |
|
||
| 训练收敛 | 慢 | 快 |
|
||
|
||
**3D Gaussian Scene Representation (3DGS)**：
|
||
- 实时渲染可达 100+ FPS
|
||
- 支持相机姿态估计
|
||
- 是当前 3D 重建的主流方法之一
|
||
|
||
---
|
||
|
||
## 5. 与扩散模型的深度结合
|
||
|
||
### 5.1 Score Distillation Sampling (SDS) 的深入理解
|
||
|
||
SDS 是连接 3D 表示与扩散模型的核心技术。考虑如下优化目标：
|
||
|
||
**变分下界（ELBO）视角**：
|
||
|
||
令 $\mathbf{x} = g(\theta)$ 是 3D 场景的渲染图像，$p(\mathbf{x}|y)$ 是文本 $y$ 条件下的生成分布。SDS 可视为最大化 $p(\mathbf{x}|y)$ 的变分近似：
|
||
|
||
$$
|
||
\log p(\mathbf{x}|y) \geq \mathbb{E}_{q(\mathbf{z}|\mathbf{x})} \left[ \log \frac{p(\mathbf{x}, \mathbf{z}|y)}{q(\mathbf{z}|\mathbf{x})} \right]
|
||
$$
|
||
|
||
通过对 $q(\mathbf{z}|\mathbf{x})$ 近似并应用拉斯维夫梯度，得到 SDS 梯度。
|
||
|
||
**去噪分数匹配（DSM）视角**：
|
||
|
||
扩散模型的训练目标是最小化去噪分数匹配损失：
|
||
|
||
$$
|
||
\mathcal{L}_{\mathrm{KL}} = \mathbb{E}_{t, \mathbf{x}_0, \epsilon} \left\| \epsilon - \epsilon_\phi(\alpha_t \mathbf{x}_0 + \sigma_t \epsilon, t) \right\|^2
|
||
$$
|
||
|
||
SDS 梯度是该损失对 $\mathbf{x}_0$ 的反向传播：
|
||
|
||
$$
|
||
\nabla_{\mathbf{x}_0} \mathcal{L}_{\mathrm{KL}} \approx \frac{1}{\sigma_t} (\epsilon - \epsilon_\phi(\mathbf{x}_t, t))
|
||
$$
|
||
|
||
**复合损失问题**：SDS 存在**过饱和、过平滑**问题，原因是：
|
||
1. 扩散模型倾向于生成"平均"图像
|
||
2. 梯度方差大，需要小学习率
|
||
3. 2D 扩散先验与 3D 几何一致性冲突
|
||
|
||
**改进方向**：
|
||
- **VSD（Variational Score Distillation）**：引入 3D 先验分布 $p_\theta(\mathbf{x})$，用 KL 散度正则化
|
||
- **CLD（Consistent Loss Diffusion）**：添加一致性正则项
|
||
- **DPM-Solver**：使用高阶 ODE 求解器加速采样
|
||
|
||
### 5.2 MultiDiffusion：多条件引导的 3D 生成
|
||
|
||
**核心思想**：将多个条件的扩散采样过程约束到统一的几何表示上。
|
||
|
||
**方法**：
|
||
- 从不同视角渲染 3D 场景 $\{I_1, I_2, \ldots, I_K\}$
|
||
- 每个视角对应一个扩散生成过程
|
||
- 通过**全局优化**确保多视角一致性
|
||
|
||
**能量函数**：
|
||
|
||
$$
|
||
E(\theta) = \sum_{k=1}^K \left\| \epsilon_\phi(I_k^{(\text{noisy})}, t, y_k) - \epsilon \right\|^2 + \lambda \cdot \text{Reg}(\theta)
|
||
$$
|
||
|
||
其中 $y_k$ 是第 $k$ 个视角的文本描述，$\text{Reg}$ 是几何正则项。
|
||
|
||
**应用场景**：
|
||
- 多视角文本控制（"正面是猫，侧面是狮子"）
|
||
- 3D 语义编辑（指定不同区域的属性）
|
||
|
||
### 5.3 潜在 3D 扩散模型（Latent 3D Diffusion）
|
||
|
||
**核心思想**：在潜在空间（latent space）中训练 3D 扩散模型，而非直接处理 3D 数据。
|
||
|
||
**优势**：
|
||
- 3D 数据标注稀缺且存储成本高
|
||
- 2D 扩散模型的强先验可迁移
|
||
- 潜在空间压缩维度，提高效率
|
||
|
||
**两阶段方法**：
|
||
1. **3D 编码器**：将 3D 表示（如 NeRF、triplane）编码到潜在空间 $\mathbf{z} \in \mathbb{R}^d$
|
||
2. **潜在扩散**：在 $\mathbf{z}$ 空间训练 DDPM
|
||
|
||
**代表工作**：
|
||
- **latent-diffusion-3D**：使用 triplane 作为潜在表示
|
||
- **Make-it-3D**：两阶段：先估计深度图，再生成 3D
|
||
|
||
**训练目标**：
|
||
|
||
$$
|
||
\mathcal{L} = \mathbb{E}_{\mathbf{z}, \epsilon, t} \left\| \epsilon - \epsilon_\phi(\mathbf{z}_t, t, c) \right\|^2
|
||
$$
|
||
|
||
其中 $\mathbf{z}_t = \alpha_t \mathbf{z} + \sigma_t \epsilon$ 是带噪潜在变量，$c$ 是条件（如文本）。
|
||
|
||
### 5.4 3D 一致性问题与解决
|
||
|
||
**问题描述**：
|
||
- SDS 优化的 3D 场景常出现**Janus 问题**（多个人脸）
|
||
- 纹理在不同视角下不一致
|
||
- 几何形状与纹理不匹配
|
||
|
||
**根因分析**：
|
||
- 2D 扩散模型缺乏 3D 一致性约束
|
||
- 每个视角独立优化，缺乏跨视角监督
|
||
- 相机视角采样不足
|
||
|
||
**解决方案**：
|
||
|
||
**多视角一致性正则**：
|
||
|
||
$$
|
||
\mathcal{L}_{\mathrm{KL}} = \sum_{i,j} \left\| \text{Project}(\text{Represent}(I_i), \pi_{i \to j}) - I_j \right\|^2
|
||
$$
|
||
|
||
其中 $\text{Represent}$ 是 3D 表示（如 NeRF），$\text{Project}$ 是渲染函数。
|
||
|
||
**分数蒸馏多视角（Score Distillation Multi-View）**：
|
||
|
||
$$
|
||
\nabla_\theta \mathcal{L} = \frac{1}{K} \sum_{k=1}^K \nabla_\theta \mathcal{L}_{\mathrm{KL}}(I_k)
|
||
$$
|
||
|
||
对 $K$ 个视角的 SDS 梯度取平均，增加监督信号。
|
||
|
||
**3D 一致性感知扩散模型**：
|
||
- **MVDiffusion**：训练时使用真值多视角图像
|
||
- **SyncDreamer**：通过 3D 感知特征聚合确保一致性
|
||
|
||
**测试时优化（TTO）**：
|
||
- 生成初始 3D 后，在测试时进行迭代优化
|
||
- 对渲染图像再经过扩散模型去噪
|
||
- 交替优化几何和纹理
|
||
|
||
---
|
||
|
||
## 6. 可编辑 3D 生成
|
||
|
||
### 6.1 3D 语义编辑（基于语言指令的 3D 编辑）
|
||
|
||
**任务定义**：给定 3D 场景和文本编辑指令，生成编辑后的 3D 场景。
|
||
|
||
**输入**：原始 3D 场景 $S_0$ + 编辑指令 $y_{\mathrm{KL}}$
|
||
**输出**：编辑后的 3D 场景 $S_{\mathrm{KL}}$
|
||
|
||
**代表性方法**：
|
||
|
||
**Instruct-NeRF2NeRF**：
|
||
1. 使用 NeRF 表示场景
|
||
2. 迭代优化：
|
||
- 渲染当前 NeRF 到 2D 图像
|
||
- 用 InstructPix2Pix 编辑 2D 图像
|
||
- 用编辑后的图像监督 NeRF 更新
|
||
|
||
**语义编辑的空间对应**：
|
||
- 3D 场景中的每个点 $\mathbf{x}$ 对应语义属性 $s(\mathbf{x}) \in \mathbb{R}^K$（$K$ 为语义类别数）
|
||
- 通过分割模型或 3D 语义网络估计 $s(\mathbf{x})$
|
||
|
||
**损失函数设计**：
|
||
|
||
$$
|
||
\mathcal{L}_{\mathrm{KL}} = \mathcal{L}_{\mathrm{KL}} + \lambda_{\mathrm{KL}} \cdot \mathcal{L}_{\mathrm{KL}}(S_{\mathrm{KL}}, y_{\mathrm{KL}}) + \lambda_{\mathrm{KL}} \cdot \mathcal{L}_{\mathrm{KL}}(S_{\mathrm{KL}}, S_0)
|
||
$$
|
||
|
||
其中：
|
||
- $\mathcal{L}_{\mathrm{KL}}$ 保证渲染质量
|
||
- $\mathcal{L}_{\mathrm{KL}}$ 拉近编辑后场景与目标文本的距离
|
||
- $\mathcal{L}_{\mathrm{KL}}$ 保持未编辑区域不变
|
||
|
||
### 6.2 物理仿真与 3D 生成
|
||
|
||
**问题**：生成的几何形状可能违反物理约束（重力、碰撞、连通性）。
|
||
|
||
**物理引导的 3D 生成**：
|
||
|
||
**方法一：后验物理优化**
|
||
- 首先生成几何形状
|
||
- 通过物理仿真检测穿透、重叠等问题
|
||
- 迭代修复几何
|
||
|
||
**方法二：物理先验集成**
|
||
- 将物理约束编码到生成过程
|
||
- 如 Neural Physics：用可微物理层替代部分网络层
|
||
|
||
**可微物理仿真**：
|
||
|
||
$$\mathbf{v}_{t+1} = \mathbf{v}_t + \Delta t \cdot \mathbf{f}_{\mathrm{KL}}(\mathbf{x}_t, \mathbf{v}_t, \theta)$$
|
||
|
||
其中 $\mathbf{f}_{\mathrm{KL}}$ 是物理仿真函数（刚体、流体），$\theta$ 是物理参数。
|
||
|
||
**神经物理场（Neural Physics Fields）**：
|
||
- 用神经网络表示物理场（速度场、压力场）
|
||
- 端到端可微，支持反向传播
|
||
|
||
### 6.3 可编辑性、鲁棒性分析
|
||
|
||
#### 6.3.1 可编辑性（Editability）
|
||
|
||
**评估指标**：
|
||
- **局部性（Locality）**：编辑操作是否精确作用于目标区域
|
||
- **一致性（Consistency）**：编辑后多视角是否一致
|
||
- **保真度（Faithfulness）**：未编辑属性是否保持
|
||
|
||
**编辑操作类型**：
|
||
1. **几何编辑**：拉伸、旋转、添加/删除部件
|
||
2. **纹理编辑**：颜色、材质、图案修改
|
||
3. **语义编辑**：改变物体类别（如猫→狗）
|
||
|
||
**代表性工作**：
|
||
|
||
**ControlNeRF**：
|
||
- 加入控制信号（如深度、边缘图）
|
||
- 实现条件化的几何编辑
|
||
|
||
**EditableNeRF**：
|
||
- 将场景分解为不变内容和可编辑内容
|
||
- 通过注意力掩码隔离编辑区域
|
||
|
||
#### 6.3.2 鲁棒性（Robustness）
|
||
|
||
**对抗鲁棒性**：
|
||
- 3D 生成模型可能受到对抗攻击
|
||
- 对输入扰动（如噪声、遮挡）敏感
|
||
|
||
**分布外鲁棒性**：
|
||
- 训练数据分布与测试分布差异
|
||
- 稀有类别的生成质量差
|
||
|
||
**评估方法**：
|
||
|
||
$$
|
||
\text{Robustness}(\theta) = \mathbb{E}_{(\mathbf{x}, y) \sim \mathcal{T}} \left[ \mathbb{E}_{\delta \in \mathcal{B}_\epsilon(\mathbf{x})} \left[ \text{FID}(g(\theta, \mathbf{x} + \delta), y) \right] \right]
|
||
$$
|
||
|
||
其中 $\mathcal{B}_\epsilon(\mathbf{x})$ 是以 $\mathbf{x}$ 为中心的扰动球，$\mathcal{T}$ 是测试分布。
|
||
|
||
**提升鲁棒性的方法**：
|
||
- 对抗训练（Adversarial Training）
|
||
- 数据增强（随机视角、遮挡、噪声）
|
||
- 一致性正则（Consistency Regularization）
|
||
|
||
#### 6.3.3 编辑保真度（Edit Fidelity）
|
||
|
||
**身份保持（Identity Preservation）**：
|
||
|
||
$$
|
||
\mathcal{L}_{\mathrm{KL}} = D_{\mathrm{KL}}(\text{Emb}(S_{\mathrm{KL}}), \text{Emb}(S_0))
|
||
$$
|
||
|
||
其中 $D_{\mathrm{KL}}$ 是人脸识别距离度量，$\text{Emb}$ 是身份嵌入。
|
||
|
||
**属性解耦（Attribute Disentanglement）**：
|
||
|
||
好的 3D 编辑系统应能解耦不同属性：
|
||
- 几何 $\leftrightarrow$ 纹理
|
||
- 姿态 $\leftrightarrow$ 形状
|
||
- 身份 $\leftrightarrow$ 表情
|
||
|
||
**因果解耦表示**：
|
||
|
||
$$\mathbf{z} = [\mathbf{z}_{\mathrm{KL}}, \mathbf{z}_{\mathrm{KL}}, \mathbf{z}_{\mathrm{KL}}], \quad p(\mathbf{z}) = \prod_i p(\mathbf{z}_i)$$
|
||
|
||
独立控制每个因子，实现精确编辑。
|
||
|
||
---
|
||
|
||
## 7. 数学附录
|
||
|
||
### A. 体积渲染方程的推导
|
||
|
||
给定光线 $\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$，定义：
|
||
- $T(t)$：从 $t_n$ 到 $t$ 的透射比
|
||
- $\sigma(t)$：体积密度
|
||
- $\mathbf{c}(t)$：颜色
|
||
|
||
光线在 $[t, t+dt]$ 区间被拦截的概率：
|
||
|
||
$$
|
||
P_{\mathrm{KL}} = \sigma(t) \cdot dt
|
||
$$
|
||
|
||
未被拦截且携带颜色到达相机的贡献：
|
||
|
||
$$
|
||
dC = \sigma(t) \cdot \mathbf{c}(t) \cdot T(t) \cdot dt
|
||
$$
|
||
|
||
积分得到终颜色：
|
||
|
||
$$
|
||
C(\mathbf{r}) = \int_{t_n}^{t_f} \sigma(t) \cdot \mathbf{c}(t) \cdot T(t) \, dt
|
||
$$
|
||
|
||
其中 $T(t) = \exp\left(-\int_{t_n}^t \sigma(s) ds\right)$。
|
||
|
||
### B. SDS 梯度的详细推导
|
||
|
||
DDPM 的前向过程：
|
||
|
||
$$
|
||
\mathbf{x}_t = \alpha_t \mathbf{x}_0 + \sigma_t \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)
|
||
$$
|
||
|
||
训练目标（简化形式）：
|
||
|
||
$$
|
||
\mathcal{L} = \mathbb{E}_{t, \mathbf{x}_0, \epsilon} \left[ \| \epsilon - \epsilon_\phi(\mathbf{x}_t, t) \|^2 \right]
|
||
$$
|
||
|
||
对 $\mathbf{x}_0$ 求梯度：
|
||
|
||
$$
|
||
\nabla_{\mathbf{x}_0} \mathcal{L} \approx \alpha_t \cdot (\epsilon_\phi(\mathbf{x}_t, t) - \epsilon)
|
||
$$
|
||
|
||
令 $\mathbf{x}_0 = g(\theta)$，链式法则：
|
||
|
||
$$
|
||
\nabla_\theta \mathcal{L} = \nabla_{\mathbf{x}_0} \mathcal{L} \cdot \frac{\partial g(\theta)}{\partial \theta} \approx \alpha_t \cdot (\epsilon_\phi(\mathbf{x}_t, t) - \epsilon) \cdot \nabla_\theta g(\theta)
|
||
$$
|
||
|
||
去掉常数 $\alpha_t$ 得到 SDS 梯度。
|
||
|
||
### C. 高斯 splatting 的投影推导
|
||
|
||
3D 高斯 $\mathcal{N}(\mu, \Sigma)$ 投影到视角 $\pi$：
|
||
- 视角坐标系下的均值：$\mu' = \mathbf{R}\mu + \mathbf{t}$
|
||
- 协方差：$\Sigma' = \mathbf{J} \mathbf{R} \Sigma \mathbf{R}^T \mathbf{J}^T$
|
||
|
||
其中 $\mathbf{J}$ 是透视投影雅可比：
|
||
|
||
$$
|
||
\mathbf{J} = \begin{bmatrix} f/x^2 & 0 & -f/x \\ 0 & f/y^2 & -f/y \\ 0 & 0 & 0 \end{bmatrix} \bigg|_{x=y=1}
|
||
$$
|
||
|
||
2D 高斯函数：
|
||
|
||
$$
|
||
G'(\mathbf{u}) = \exp\left(-\frac{1}{2} (\mathbf{u} - \mu')^T \Sigma'^{-1} (\mathbf{u} - \mu')\right)
|
||
$$
|
||
|
||
---
|
||
|
||
## 参考文献
|
||
|
||
1. Mildenhall et al. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" *ECCV 2020*
|
||
2. Poole et al. "DreamFusion: Text-to-3D using 2D Diffusion" *ICLR 2023*
|
||
3. Liu et al. "Zero-1-to-3: Zero-shot One Image to 3D Object" *ICCV 2023*
|
||
4. Lin et al. "Magic3D: High-Resolution Text-to-3D Content Creation" *CVPR 2023*
|
||
5. Kerbl et al. "3D Gaussian Scattering for Real-Time Rendering of Radiance Fields" *ACM TOG 2023*
|
||
6. Chan et al. "EG3D: Efficient Geometry-Aware 3D Generative Adversarial Networks" *CVPR 2022*
|
||
7. Müller et al. "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding" *ACM TOG 2022*
|
||
8. Barron et al. "Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields" *ICCV 2021*
|
||
9. Haque et al. "Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions" *CVPR 2023*
|
||
|
||
---
|
||
|
||
*本笔记面向科研人员，重点阐述核心算法的数学推导与算法直觉。如有疏漏，欢迎指正。*
|