Notes/机器学习/深度学习模型/06-多模态模型/4-Swin-Transformer/1-Swin-Transformer架构.md

Swin Transformer架构

概述

Swin Transformer（Shifted Windows Transformer）是微软研究院于2021年提出的视觉Transformer架构，其核心创新在于引入了层次化结构和Shifted Window机制，在保持高效计算的同时实现了对图像像素的层次化建模。Swin Transformer最初用于图像分类，随后成为目标检测、语义分割等多个视觉任务的基础 backbone。

1. 层次化结构（Hierarchical Architecture）

1.1 多阶段设计

Swin Transformer采用类似CNN的层次化结构，通过Patch Merging实现分辨率的逐步降低：

阶段	特征图尺寸	通道数	Window大小
Stage 1	H/4 × W/4	96	7×7
Stage 2	H/8 × W/8	192	7×7
Stage 3	H/16 × W/16	384	7×7
Stage 4	H/32 × W/32	768	7×7

1.2 Patch Merging

每个阶段的开始，通过Patch Merging操作将相邻的2×2 patch合并：

• 输入：4个patch的token（维度为C）
• 输出：1个token，通道数变为4C
• 降采样比例：2×

1.3 与ViT的对比

• ViT：单一尺度的特征图，全局注意力计算复杂度为O(n²)
• Swin：层次化多尺度特征图，Window内注意力复杂度为O(M²×n)，其中M是window大小（默认7）

2. Shifted Window机制

2.1 Window-based Self-Attention

标准的Self-Attention计算复杂度为O(n²)，对于高分辨率图像而言计算量巨大。Swin Transformer将图像划分为不重叠的Windows，每个Window内独立计算注意力。

计算过程：

输入特征图划分为 (H/M) × (W/M) 个Windows
每个Window包含 M×M 个patches
Window内计算自注意力，复杂度：O(M²×n)

2.2 Shifted Window Partition

连续两个Swin Transformer Block采用不同的Window划分方式：

W-MSA（Window MSA）：

• 采用常规的Window划分
• 无跨Window信息交互

SW-MSA（Shifted Window MSA）：

• Window偏移量为(M/2)
• 引入跨Window的连接
• 实现全局感受野

位移示意：

Block 1 (W-MSA):          Block 2 (SW-MSA):
┌───┬───┬───┬───┐        ┌───┬───┬───┬───┐
│ A │ B │ C │ D │        │    │ E │ F │   │
├───┼───┼───┼───┤        ├───┼───┼───┼───┤
│ E │ F │ G │ H │   ->   │ I │ J │ K │ L │
├───┼───┼───┼───┤        ├───┼───┼───┼───┤
│ I │ J │ K │ L │        │    │ M │ N │   │
├───┼───┼───┼───┤        └───┴───┴───┴───┘
│ M │ N │ O │ P │              ↓
└───┴───┴───┴───┘         带padding的shifted划分

2.3 高效计算策略

Cyclic Shift： 将移位后的区域划分为多个区域，分别计算注意力后还原 Mask机制： 使用mask避免无效的跨Window注意力计算

3. 局部注意力与全局注意力的结合

3.1 局部注意力机制

每个Window内的自注意力捕获局部特征：

• 捕获同一局部区域的像素级关系
• 计算高效，适合高分辨率特征图
• 通过QKV共享和相对位置编码增强局部建模能力

3.2 跨Window信息交互

通过Shifted Window机制实现跨Window信息传递：

• 相邻Block之间的Window偏移建立连接
• 信息沿着shift方向流动到相邻Window
• 经过多层堆叠后，感受野逐步扩大

3.3 相对位置编码

Swin Transformer采用相对位置偏置（Relative Position Bias）：

Attention(Q, K, V) = Softmax(\frac{QK^T}{\sqrt{d}} + B)V

其中B是可学习的相对位置偏置矩阵，维度为(M²+1)×(M²+1)，M为Window大小。

3.4 层次化感受野

经过4个阶段的处理，感受野逐步扩大：

阶段	有效感受野
Stage 1	局部7×7
Stage 2	局部14×14
Stage 3	局部28×28 + 部分跨Window
Stage 4	全局感受野

4. 关键技术创新总结

技术	作用
Patch Merging	实现层次化结构，下采样特征图
Window Partition	将全局注意力转化为局部，降低复杂度
Shifted Window	建立跨Window连接，扩大有效感受野
Cyclic Shift + Mask	高效实现shifted window attention
Relative Position Bias	增强局部建模能力，保留空间信息

5. 模型变体

模型	参数量	Window大小	适用场景
Swin-T	28M	7	轻量级应用
Swin-S	50M	7	平衡精度与速度
Swin-B	88M	7	标准应用
Swin-L	197M	7	大型模型/预训练

Swin Transformer的层次化设计和Shifted Window机制使其成为视觉领域的基础backbone，后续的Swin-V2、Swin-UNet等模型均基于此架构进行改进和扩展。