8.5 KiB
title, draft, tags
| title | draft | tags | ||||
|---|---|---|---|---|---|---|
| 02-CLIP | false |
|
一、 CLIP 的核心架构：多模态对比表征
Contrastive Language-Image Pre-training (CLIP) 的本质是在高维流形上寻找图像与文本的最大互信息 (Mutual Information) 估计。
1.1 双塔架构与投影空间
CLIP 采用非对称的双塔架构。令 x_i 为输入图像，t_i 为对应的描述文本。
-
图像编码器 (Image Encoder): $f_\theta(\cdot)$，通常为特征提取能力极强的 ViT (Vision Transformer) 或 ResNet。其输出为 $h_i \in \mathbb{R}^{d_v}$。
-
文本编码器 (Text Encoder): $g_\phi(\cdot)$，采用 Transformer 架构，输出为 $h_t \in \mathbb{R}^{d_l}$。
为了实现跨模态对齐，需将不同维度的特征映射至共享的单位超球面 $\mathbb{S}^{d-1} \subset \mathbb{R}^d$：
I_i = \text{L2-Norm}(h_i W_i), \quad T_i = \text{L2-Norm}(h_t W_t)
其中 W_i \in \mathbb{R}^{d_v \times d} 与 W_t \in \mathbb{R}^{d_l \times d} 是可学习的线性投影矩阵。映射后的向量满足 \|I_i\|_2 = 1 且 $|T_i|_2 = 1$。
Intuition（图文对齐的物理意义）：
将图文投影到单位超球面 \mathbb{S}^{d-1} 的核心动机在于消解模态间的度量异构性。图像特征的欧式距离反映的是像素级纹理性差异，而文本特征的欧氏距离反映的是语义类簇间差异。通过 L2-Normalization + 线性投影，我们将两者都映射到同一黎曼流形——单位超球面，此时余弦相似度 s_{i,j} = I_i \cdot T_j^\top 成为统一的度量标准。
从几何视角看，对比学习本质上是将配对样本 (x_i, t_i) 的表示 I_i 与 T_i 拉近至同一邻域（正样本距离趋近于 1），同时将所有非配对样本 (x_i, t_{j \neq i}) 推远至超球面的对立极点（负样本距离趋近于 -1）。这等价于在高维球面上进行的有监督流形学习。
1.2 对比学习损失函数：InfoNCE
CLIP 的训练目标是最大化 N 个配对样本的余弦相似度，同时最小化 N^2 - N 个非配对样本的相似度。其损失函数采用对称的 InfoNCE (Information Noise-Contrastive Estimation)：
\mathcal{L}_{\mathrm{KL}} = \frac{1}{2N} \sum_{i=1}^{N} \left( -\log \frac{\exp(s_{i,i} \cdot \tau)}{\sum_{j=1}^{N} \exp(s_{i,j} \cdot \tau)} - \log \frac{\exp(s_{i,i} \cdot \tau)}{\sum_{j=1}^{N} \exp(s_{j,i} \cdot \tau)} \right)
其中 s_{i,j} = I_i \cdot T_j^\top 表示相似度分数。
温度系数 \tau 的深度解析：
$\tau$（或训练中的 $\exp(\tau)$）是一个关键的可学习参数。
-
动力学作用：从 softmax 的数学形式分析，温度
\tau实质上是控制注意力权重分布熵的缩放因子。定义缩放后的 logits $\tilde{s}{i,j} = s{i,j} \cdot \tau$，则 softmax 输出的概率分布为 $p_{i,j} = \exp(\tilde{s}{i,j}) / \sum_k \exp(\tilde{s}{i,k})$。当\tau \to 0时，\tilde{s}_{i,j}趋近于零向量，softmax 退化为均匀分布（最大熵），模型无法学习有效区分；当\tau \to \infty时，分布熵最小化，仅最大 logits 对应的样本获得梯度。CLIP 训练时\tau \to 0.07恰好处于”尖锐但不过度”的中间地带，使得正样本获得显著高于负样本的梯度权重，同时负样本间的相对难度差异也能被区分。 -
困难负样本 (Hard Negatives) 的物理机制：当某个负样本
T_k与正样本T_i在语义上接近时（如”白猫”vs”灰猫”），其s_{i,k}较高。在较大的\tau下（对应较陡的 softmax 曲线），这类”近似正样本”的梯度惩罚会显著增强，推动模型学习更细粒度的语义边界。 -
稳定性控制：在训练初期，
\tau被初始化为一个较小值（如 0.07），以防止梯度爆炸；随着训练进行，模型逐渐通过减小分布熵来提取更精细的特征。工程结论：\tau的自适应学习是 CLIP 能够从嘈杂网络数据中收敛的核心。
二、 极致硬核的训练细节
2.1 大规模 Batch 的数学意义
CLIP 的训练使用了极大的 Batch Size (N=32,768)。从互信息下界的角度看：
I(X; T) \geq \log(N) - \mathcal{L}_{\mathrm{KL}}
负采样强度分析：对比学习的性能在很大程度上取决于负样本的数量。N 的增大意味着对于每一个正样本，模型必须从 32,767 个干扰项中识别出正确匹配。这极大地强化了特征的判别性，使得模型能够学习到细粒度的语义差异而非简单的低频特征。
2.2 优化器策略与权重衰减
-
AdamW 配置：采用解耦的权重衰减（Weight Decay）。
-
差异化策略：对于所有线性层应用
0.2的 Weight Decay，但对 LayerNorm 和 Bias 参数不予衰减。这保证了在极深的网络中，激活值的均值和方差保持稳定。 -
LR Schedule：采用 Linear Warmup（前 2000 步）配合 Cosine Annealing 衰减。
2.3 分布式并行与数值稳定性
在处理 32768 \times 32768 的相似度矩阵时，内存占用极大。
-
混合精度 (Mixed Precision)：使用 FP16 进行前向传播以节省带宽，但在计算损失函数和更新梯度时回退到 FP32 以避免溢出。
-
DDP 与 Sharding：利用分布式数据并行，将 Batch 分散在多个 GPU 节点上，并仅在计算相似度矩阵时进行全局的全收集 (All-gather) 操作。
三、 对接 Stable Diffusion：从表征到引导
Stable Diffusion (SD) 并不直接使用 CLIP 的分类能力，而是将其作为语义条件注入器。
3.1 隐空间桥梁：为什么选择倒数第二层？
在 SD 中，通常提取 CLIP Text Encoder (ViT-L/14) 的 Penultimate Layer (倒数第二层) 输出。
- 理论支撑：最后一层特征经过了对比损失的极致压缩，旨在实现全局对齐，丢失了大量局部空间语义。倒数第二层保留了更多的 token-level 细粒度信息，更有利于 U-Net 进行精细的图像重建。
3.2 Cross-Attention 机制的数学注入
CLIP 的文本 Embedding c 作为外部条件注入 U-Net 的计算流。对于 U-Net 中的中间特征图 $\phi(z_t)$：
-
查询矩阵 (Query):
Q = W_Q \cdot \phi(z_t) -
键矩阵 (Key):
K = W_K \cdot c -
值矩阵 (Value):
V = W_V \cdot c
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d}}\right)V
这里 K 和 V 完全源自 CLIP 特征，这意味着生成的每一步都在根据文本语义对像素流形进行重塑。
3.3 Classifier-Free Guidance (CFG) 引导
为了强化语义一致性，SD 引入了 CFG：
\tilde{\epsilon}_\theta(z_t, c) = \epsilon_\theta(z_t, \emptyset) + w \cdot (\epsilon_\theta(z_t, c) - \epsilon_\theta(z_t, \emptyset))
其中 w 为引导系数。数学本质：\epsilon_\theta(z_t, c) - \epsilon_\theta(z_t, \emptyset) 实际上是条件分布 \log p(c|z_t) 的梯度方向。CLIP 提供的特征向量决定了这个梯度的“准确性”，从而在扩散过程中不断将潜在变量推向符合 prompt 描述的区域。
四、 潜在问题与技术局限
4.1 词袋效应 (Bag-of-Words Property)
尽管 CLIP 具有强大的表征能力，但在处理复杂逻辑关系时表现欠佳。
-
成因分析：InfoNCE 目标函数倾向于提取全局统计语义，而忽略了 Transformer 内部的序列结构。即使打乱 Prompt 的词序，其在单位超球面的投影点依然极其接近。
-
后果：SD 在处理“A 在 B 左边”或“不仅有 A 而且有 B”等空间/逻辑关系时经常崩溃。
4.2 特征坍缩 (Feature Collapse)
在极大规模 Batch 训练下，若数据噪声过高，模型可能陷入局部最优解。
- 现象：模型通过学习图像的背景频率或特定伪影（如水印）来实现对齐，导致特征向量集中在超球面的极小区域，丧失泛化性。
4.3 分辨率瓶颈与零样本Gap
CLIP 在 224x224 分辨率下训练，而 SD 通常生成 512+ 分辨率的图像。
- 挑战：ViT 的位置编码 (Positional Embedding) 在外推至高分辨率时会产生畸变，导致生成的图像在宏观结构上与文本对齐，但在微观细节上存在语义漂移。
结论：CLIP 的成功在于其将多模态问题转化为一个简洁的对齐优化问题，为生成式模型提供了稳健的语义先验。然而，其对语义结构理解的缺失，仍是当前 Generative AI 领域亟待攻克的数学高地。