384 lines
10 KiB
Markdown
384 lines
10 KiB
Markdown
# IP-Adapter与一致性模型
|
||
|
||
## 概述
|
||
|
||
IP-Adapter（Image Prompt Adapter）是腾讯提出的一种解耦交叉注意力机制，用于向预训练的文生图模型添加图像提示能力。一致性模型（Consistency Models）是Song Yuan等提出的新型生成模型范式，无需对抗训练即可实现快速采样。本章节深入分析这两个重要技术。
|
||
|
||
## 1. IP-Adapter详解
|
||
|
||
### 1.1 问题背景
|
||
|
||
传统的文生图模型（如SD）主要接受文本作为条件输入。用户希望能够使用参考图像来控制生成结果，但直接利用图像作为prompt存在挑战：
|
||
|
||
- 图像包含的信息比文本更丰富和复杂
|
||
- 直接微调模型需要大量计算资源
|
||
- 简单的特征拼接会破坏原模型的文本理解能力
|
||
|
||
### 1.2 解耦交叉注意力机制
|
||
|
||
**传统交叉注意力：**
|
||
```python
|
||
# SD中的cross-attention
|
||
class CrossAttention(nn.Module):
|
||
def forward(self, x, context):
|
||
# Q: 来自latent特征
|
||
Q = self.to_q(x)
|
||
# K, V: 来自文本embedding
|
||
K = self.to_k(context)
|
||
V = self.to_v(context)
|
||
|
||
# 计算注意力
|
||
attention = softmax(Q @ K^T / sqrt(d)) @ V
|
||
return attention
|
||
```
|
||
|
||
**IP-Adapter核心思想：**
|
||
```
|
||
将图像提示的处理与文本提示分离
|
||
使用独立的图像编码器处理图像
|
||
通过解耦的交叉注意力将图像特征注入模型
|
||
```
|
||
|
||
### 1.3 架构设计
|
||
|
||
```python
|
||
class IPAdapter(nn.Module):
|
||
def __init__(self, unet, image_encoder, num_tokens=4):
|
||
super().__init__()
|
||
self.unet = unet
|
||
self.image_encoder = image_encoder # 独立的图像编码器
|
||
self.num_tokens = num_tokens
|
||
|
||
# 图像提示的交叉注意力
|
||
self.image_proj = nn.Linear(image_dim, num_tokens * latents_dim)
|
||
|
||
# 解耦的cross-attention层
|
||
self.image_attention = nn.ModuleList([
|
||
DecoupledCrossAttention(latents_dim, image_dim)
|
||
for _ in range(num_layers)
|
||
])
|
||
|
||
def forward(self, latents, timestep, text_emb, image_prompt):
|
||
# 编码图像提示
|
||
image_features = self.image_encoder(image_prompt)
|
||
|
||
# 投影到特定维度
|
||
image_tokens = self.image_proj(image_features) # [B, num_tokens, dim]
|
||
|
||
# 在UNet的交叉注意力层注入图像特征
|
||
for block in self.unet.blocks:
|
||
if hasattr(block, 'attn2'):
|
||
# 原始文本注意力
|
||
text_out = block.attn2(x, text_emb)
|
||
# 解耦的图像注意力
|
||
image_out = block.image_attn(x, image_tokens)
|
||
# 融合
|
||
x = x + text_out + image_out
|
||
```
|
||
|
||
### 1.4 解耦交叉注意力详解
|
||
|
||
```python
|
||
class DecoupledCrossAttention(nn.Module):
|
||
"""
|
||
解耦的交叉注意力机制
|
||
文本和图像分别计算注意力后融合
|
||
"""
|
||
def __init__(self, latent_dim, image_dim):
|
||
self.q_linear = nn.Linear(latent_dim, latent_dim)
|
||
self.k_text = nn.Linear(text_dim, latent_dim)
|
||
self.k_image = nn.Linear(image_dim, latent_dim)
|
||
self.v_text = nn.Linear(text_dim, latent_dim)
|
||
self.v_image = nn.Linear(image_dim, latent_dim)
|
||
|
||
def forward(self, x, text_emb, image_emb):
|
||
# Q: 来自latent
|
||
Q = self.q_linear(x)
|
||
|
||
# 分别计算文本和图像的K/V
|
||
K_text = self.k_text(text_emb)
|
||
K_image = self.k_image(image_emb)
|
||
V_text = self.v_text(text_emb)
|
||
V_image = self.v_image(image_emb)
|
||
|
||
# 分别计算注意力
|
||
text_attn = softmax(Q @ K_text^T / sqrt(d)) @ V_text
|
||
image_attn = softmax(Q @ K_image^T / sqrt(d)) @ V_image
|
||
|
||
# 加权融合
|
||
return text_attn + alpha * image_attn
|
||
```
|
||
|
||
### 1.5 训练策略
|
||
|
||
**两阶段训练：**
|
||
|
||
```python
|
||
# Stage 1: 解耦交叉注意力预训练
|
||
stage1_config = {
|
||
'freeze_unet': True,
|
||
'train_image_proj': True,
|
||
'train_image_attention': True,
|
||
'image_encoder': CLIP ViT-L/14,
|
||
'data': 10M image-prompt pairs
|
||
}
|
||
|
||
# Stage 2: 轻度微调（可选）
|
||
stage2_config = {
|
||
'unet_lora': True,
|
||
'image_proj': True,
|
||
'learning_rate': 1e-5
|
||
}
|
||
```
|
||
|
||
### 1.6 图像提示编码器
|
||
|
||
```python
|
||
# 使用CLIP作为图像编码器
|
||
class ImagePromptEncoder(nn.Module):
|
||
def __init__(self):
|
||
self.clip = CLIPVisionModel.from_pretrained('openai/clip-vit-large-patch14')
|
||
self.proj = nn.Linear(1024, latents_dim)
|
||
|
||
def forward(self, image):
|
||
# 提取图像特征
|
||
features = self.clip(image) # [B, 257, 1024]
|
||
|
||
# 投影到latent空间
|
||
projected = self.proj(features) # [B, 257, dim]
|
||
return projected
|
||
```
|
||
|
||
## 2. 一致性模型（Consistency Models）
|
||
|
||
### 2.1 背景与动机
|
||
|
||
扩散模型虽然生成质量高，但需要多步迭代采样（通常需要20-100步），导致推理速度慢。一致性模型提出了一种新范式：
|
||
|
||
```
|
||
目标：学习一个函数 f(x, t) → x_0
|
||
特性：
|
||
1. 单步或少量步采样
|
||
2. 无需对抗训练
|
||
3. 可作为蒸馏目标
|
||
```
|
||
|
||
### 2.2 核心原理
|
||
|
||
**一致性模型定义：**
|
||
```python
|
||
class ConsistencyModel(nn.Module):
|
||
def forward(self, x_t, t):
|
||
# 预测原始数据 x_0
|
||
# 同时保证: f(x_t, t) = f(x_{t'}, t') 对于同一轨迹上的点
|
||
return self.net(x_t, t)
|
||
```
|
||
|
||
**关键性质 - 一致性：**
|
||
```
|
||
对于ODE轨迹上的任意点 x(t) 和 x(t')：
|
||
f(x(t), t) = f(x(t'), t') = x_0
|
||
|
||
这保证了模型输出与时间步无关
|
||
```
|
||
|
||
### 2.3 训练目标
|
||
|
||
```python
|
||
def consistency_training(model, x_0, epsilon):
|
||
"""
|
||
一致性训练损失
|
||
"""
|
||
# 随机采样时间步
|
||
t = uniform(0, T)
|
||
|
||
# 添加噪声
|
||
x_t = alpha_bar[t]^{0.5} * x_0 + (1 - alpha_bar[t]){0.5} * epsilon
|
||
|
||
# 采样邻近时间步
|
||
t' = t + delta # delta很小
|
||
|
||
# 计算一致性损失
|
||
with torch.no_grad():
|
||
target = model(x_{t'}, t')
|
||
|
||
# 模型预测
|
||
pred = model(x_t, t)
|
||
|
||
# 损失：预测值与目标的一致性
|
||
loss = ||pred - target||^2
|
||
return loss
|
||
```
|
||
|
||
### 2.4 采样过程
|
||
|
||
```python
|
||
def consistencySampling(model, x_T, N=2):
|
||
"""
|
||
一致性采样
|
||
N: 采样步数（通常N=1或N=2）
|
||
"""
|
||
# 从纯噪声开始
|
||
x = x_T
|
||
|
||
# 少量迭代
|
||
for i in range(N):
|
||
# 预测 x_0
|
||
x_0_pred = model(x, t_i)
|
||
|
||
# 直接重建（或少量步去噪）
|
||
x = x_0_pred
|
||
|
||
return x
|
||
```
|
||
|
||
### 2.5 与扩散模型的关系
|
||
|
||
```
|
||
扩散模型：多次迭代，每步学习去噪
|
||
一致性模型：直接学习从噪声到数据的映射
|
||
可视为扩散模型的蒸馏目标
|
||
```
|
||
|
||
**蒸馏视角：**
|
||
```python
|
||
# 将预训练的扩散模型蒸馏为一致性模型
|
||
teacher_model = DiffusionModel() # 预训练扩散模型
|
||
|
||
student_model = ConsistencyModel() # 一致性模型
|
||
|
||
# 蒸馏过程
|
||
def distill(teacher, student, data):
|
||
x_0 = data
|
||
t = random() # 随机时间
|
||
|
||
noise = random_noise()
|
||
x_t = add_noise(x_0, noise, t)
|
||
|
||
# 教师预测（目标）
|
||
with torch.no_grad():
|
||
target = teacher.predict_x0(x_t, t)
|
||
|
||
# 学生预测
|
||
pred = student(x_t, t)
|
||
|
||
loss = ||pred - target||^2
|
||
return loss
|
||
```
|
||
|
||
### 2.6 Consistency Distillation (CT)
|
||
|
||
```python
|
||
class ConsistencyDistillation(nn.Module):
|
||
"""
|
||
一致性蒸馏训练
|
||
"""
|
||
def __init__(self, diffusion_model):
|
||
self.diffusion = diffusion_model
|
||
self.consistency = ConsistencyModel()
|
||
|
||
def training_step(self, x_0):
|
||
# 采样两个时间点
|
||
t, t_next = sample_neighbor_timesteps()
|
||
|
||
# 加噪
|
||
x_t = add_noise(x_0, t)
|
||
x_t_next = add_noise(x_0, t_next)
|
||
|
||
# 一致性蒸馏损失
|
||
with torch.no_grad():
|
||
# 使用扩散模型teacher
|
||
teacher_out = self.diffusion(x_t_next, t_next)
|
||
|
||
# 学生预测
|
||
student_out = self.consistency(x_t, t)
|
||
|
||
loss = ||student_out - teacher_out||^2
|
||
return loss
|
||
```
|
||
|
||
## 3. IP-Adapter应用场景
|
||
|
||
### 3.1 主题一致性生成
|
||
|
||
```python
|
||
# 使用参考图像保持主题一致性
|
||
reference_image = load("character_reference.png")
|
||
|
||
result = pipe.generate(
|
||
prompt="the character in a park",
|
||
image_prompt=reference_image, # 主题参考
|
||
ip_adapter_scale=0.8 # 控制强度
|
||
)
|
||
```
|
||
|
||
### 3.2 风格迁移
|
||
|
||
```python
|
||
# 使用图像提示指定风格
|
||
style_image = load("impressionist_painting.png")
|
||
|
||
result = pipe.generate(
|
||
prompt="a beautiful landscape",
|
||
image_prompt=style_image,
|
||
ip_adapter_scale=0.6
|
||
)
|
||
```
|
||
|
||
### 3.3 构图控制
|
||
|
||
```python
|
||
# 使用构图参考
|
||
layout_image = load("sketch_layout.png")
|
||
|
||
result = pipe.generate(
|
||
prompt="modern living room",
|
||
image_prompt=layout_image,
|
||
ip_adapter_scale=0.7
|
||
)
|
||
```
|
||
|
||
## 4. 性能对比
|
||
|
||
### 4.1 IP-Adapter vs Textual Inversion/LoRA
|
||
|
||
| 方法 | 参数量 | 训练成本 | 效果 | 灵活性 |
|
||
|------|--------|----------|------|--------|
|
||
| Textual Inversion | ~1K | 低 | 中等 | 仅概念 |
|
||
| LoRA | ~1M | 中 | 好 | 全参数 |
|
||
| IP-Adapter | ~10M | 中 | 优秀 | 图像提示 |
|
||
|
||
### 4.2 一致性模型 vs DDPM/DDIM
|
||
|
||
| 方法 | 采样步数 | 质量 | 训练难度 |
|
||
|------|----------|------|----------|
|
||
| DDPM | 1000 | 优秀 | 中等 |
|
||
| DDIM | 20-50 | 优秀 | 无需训练 |
|
||
| Consistency Model | 1-2 | 良好 | 中等 |
|
||
|
||
## 5. 未来发展方向
|
||
|
||
### 5.1 IP-Adapter扩展
|
||
|
||
1. **多图像提示**：支持多个参考图像
|
||
2. **局部图像提示**：指定图像的特定区域
|
||
3. **时序一致性**：应用于视频生成
|
||
|
||
### 5.2 一致性模型进展
|
||
|
||
1. **更高质量**：改进网络结构
|
||
2. **无条件生成**：无分类器引导
|
||
3. **多模态扩展**：支持文本、图像条件
|
||
|
||
## 6. 总结
|
||
|
||
| 技术 | 核心创新 | 应用场景 |
|
||
|------|----------|----------|
|
||
| IP-Adapter | 解耦交叉注意力 | 图像提示控制、主题一致 |
|
||
| 一致性模型 | ODE轨迹一致性 | 快速采样、模型蒸馏 |
|
||
|
||
这两个技术代表了生成式AI的两个重要方向：
|
||
- **控制能力**：更灵活、更精确地控制生成过程
|
||
- **采样效率**：降低推理成本，提升实用性
|
||
|
||
随着技术的发展，IP-Adapter和一致性模型将继续演进，为用户提供更强大、更高效的生成能力。 |