---
title: 上下文化表示：ELMo 与 BERT 的双向上下文建模
draft: false
tags:
  - ELMo
  - BERT
  - 上下文化表示
  - BiLSTM
  - 双向语言模型
---

# 上下文化表示：ELMo 与 BERT 的双向上下文建模

---

## 一、静态词向量的根本局限

### 1.1 一词多义问题

**静态词向量的问题**：

使用 Word2Vec 或 GloVe 学习到的词向量是**静态的**——同一个词无论在什么上下文中，都对应同一个向量。

**具体问题**：

| 词 | 上下文 | 正确语义 | 静态向量会混淆 |
|----|-------|---------|--------------|
| "bank" | river ___ | 河岸 | 无法区分 |
| "bank" | ___ robbery | 银行 | 无法区分 |
| "run" | ___ a marathon | 跑步（动词） | 无法区分 |
| "run" | salmon ___ | 溪流（名词） | 无法区分 |

**数学表示**：

对于同一词 $w$ 在不同上下文 $c_1$ 和 $c_2$ 中，静态词向量满足 $\mathbf{v}_w^{(c_1)} = \mathbf{v}_w^{(c_2)} = \mathbf{v}_w$。这忽略了语义的可变性。

### 1.2 解决方案的演进

**方案演进**：

```
静态词向量（Word2Vec/GloVe）
    ↓ 解决一词多义
多义词向量（未广泛使用）
    ↓ 上下文感知
上下文向量（ELMo, 2018）
    ↓ 大规模预训练 + 深 Transformer
BERT（2018）
```

**核心思想**：

> 每个词的表示应该**依赖于其上下文**。相同的词在不同的句子中应该有不同的向量。

---

## 二、ELMo：深度上下文化词表示

### 2.1 ELMo 的核心思想

**ELMo**（Embeddings from Language Models, Peters et al., 2018）的全称是"从语言模型提取的嵌入"。

**核心洞察**：

> 使用双向 LSTM 语言模型（BiLSTM LM）的内部状态作为词的上下文相关表示。

**关键创新**：

1. **字符卷积嵌入**：ELMo 使用字符级卷积网络（CNN）生成词嵌入，天生具备极强的 OOV（未登录词）处理能力，远超 Word2Vec/GloVe 等基于词的静态嵌入
2. **双向**：同时考虑左上下文和右上下文
3. **深层**：使用多层 LSTM 的不同层捕捉不同粒度的信息
4. **预训练 + fine-tune**：在大语料上预训练，可以微调到下游任务

### 2.2 双向语言模型的数学定义

**前向语言模型**：

给定词序列 $w_1, w_2, \ldots, w_T$，前向 LM 计算：
$$P(w_t | w_1, \ldots, w_{t-1}) = \text{softmax}(\mathbf{h}_t^{\rightarrow} \mathbf{W}_o) \tag{2.1}$$

其中 $\mathbf{h}_t^{\rightarrow}$ 是前向 LSTM 在位置 $t$ 的隐藏状态。

**后向语言模型**：

$$P(w_t | w_{t+1}, \ldots, w_T) = \text{softmax}(\mathbf{h}_t^{\leftarrow} \mathbf{W}_o) \tag{2.2}$$

其中 $\mathbf{h}_t^{\leftarrow}$ 是后向 LSTM 在位置 $t$ 的隐藏状态。

**双向 LM 目标**：

$$\mathcal{L} = \sum_{t=1}^T \left[ \log P(w_t | w_1, \ldots, w_{t-1}) + \log P(w_t | w_{t+1}, \ldots, w_T) \right] \tag{2.3}$$

**这使得每个位置 $t$ 的表示同时包含左右两边的信息。**

### 2.3 ELMo 的架构

**双层双向 LSTM**：

```
Token:  w_1   w_2   w_3   ...  w_T
         ↓     ↓     ↓        ↓
Char Emb  →    →    →    →    →
         ↓     ↓     ↓        ↓
      ┌───────────────────────┐
      │   Forward LSTM Layer 1  │
      └───────────────────────┘
         ↓     ↓     ↓        ↓
      ┌───────────────────────┐
      │  Backward LSTM Layer 1  │
      └───────────────────────┘
         ↓     ↓     ↓        ↓
      ┌───────────────────────┐
      │   Forward LSTM Layer 2  │
      └───────────────────────┘
         ↓     ↓     ↓        ↓
      ┌───────────────────────┐
      │  Backward LSTM Layer 2  │
      └───────────────────────┘
         ↓     ↓     ↓        ↓
       h_1    h_2   h_3  ...  h_T
```

**每层输出**：

每个位置 $t$ 有两个 LSTM 层的输出：
- $\mathbf{h}_t^{\rightarrow, 1}$, $\mathbf{h}_t^{\rightarrow, 2}$（前向，层1和层2）
- $\mathbf{h}_t^{\leftarrow, 1}$, $\mathbf{h}_t^{\leftarrow, 2}$（后向，层1和层2）

### 2.4 ELMo 表示的聚合

**原始 ELMo 向量**：

对于每个位置 $t$，拼接所有层的隐藏状态：
$$\mathbf{H}_t = [\mathbf{h}_t^{\rightarrow, 1}; \mathbf{h}_t^{\rightarrow, 2}; \mathbf{h}_t^{\leftarrow, 1}; \mathbf{h}_t^{\leftarrow, 2}] \in \mathbb{R}^{4d} \tag{2.4}$$

其中 $d$ 是每层 LSTM 的隐藏维度。

**加权聚合（ELMo 改进版）**：

不是简单拼接，而是学习加权平均：
$$\mathbf{v}_t = \gamma \sum_{j=1}^L s_j \mathbf{h}_t^j \tag{2.5}$$

其中：
- $L$ 是层数（这里 $L=2$）
- $s_j$ 是可学习的 softmax 权重，经 softmax 归一化后 $\sum_j s_j = 1$，自适应选取各层信息
- $\gamma$ 是可学习的全局缩放系数，平衡整体向量幅值

**为什么加权**：

不同层捕获不同类型的信息：
- **底层**（Layer 1）：更关注语法/词形信息（词性、词缀）
- **高层**（Layer 2）：更关注语义/意义信息（命名实体、语义角色）

### 2.5 ELMo 在下游任务的使用

**固定特征提取器模式**：

1. 冻结 BiLSTM LM 的权重
2. 在下游任务上添加 task-specific 层
3. 只微调新增层的权重

**数学表示**：

设下游任务的输入是句子 $s = (w_1, \ldots, w_T)$，ELMo 向量为 $\mathbf{v}_t$。

下游任务的表示为：
$$\mathbf{x}_t^{\text{down}} = [\mathbf{x}_t^{\text{base}}; \mathbf{v}_t] \tag{2.6}$$

其中 $\mathbf{x}_t^{\text{base}}$ 是原始词向量，$\mathbf{v}_t$ 是 ELMo 上下文嵌入。

**组合方式**：
- **Concatenation**：拼接原始词向量和 ELMo 向量
- **Weighted**：直接用 $\mathbf{v}_t$ 替换原始向量

**ELMo 两种使用模式**：
- **特征冻结模式**：仅微调下游任务层（添加 Task-specific 层），适合小数据集
- **全量微调模式**：整体更新 BiLSTM 权重，适合大数据场景

### 2.6 ELMo 的局限性

| 局限 | 描述 |
|------|------|
| **架构限制** | BiLSTM 无法捕获长距离依赖（最长约 100-200 tokens） |
| **并行性差** | LSTM 训练是序列性的，无法充分利用 GPU 并行 |
| **表示能力** | BiLSTM 的 hidden states 是线性组合，表达能力有限 |
| **参数量** | 相对较少的参数限制了表示能力 |

**这促使了 Transformer 架构的引入**。

---

## 三、BERT：深度双向预训练

### 3.1 BERT 的核心思想

**BERT**（Bidirectional Encoder Representations from Transformers, Devlin et al., 2018）的核心贡献是：

> 使用 **Masked Language Model（MLM）** 目标，实现真正的**双向上下文表示**。

**关键创新**：

1. **真正的双向上下文**：不是像 ELMo 那样简单拼接前后向（伪双向，时序依赖无法突破），而是通过掩码机制同时看到左右上下文，实现原生全局双向建模
2. **Transformer 架构**：用 Self-Attention 替代 LSTM，解决长距离依赖和并行问题
3. **大规模预训练**：在大规模语料（Wikipedia + BookCorpus）上预训练

### 3.2 Masked Language Model 的数学推导

**核心问题**：双向条件下，语言模型的似然 $P(w_t | w_1, \ldots, w_{t-1}, w_{t+1}, \ldots, w_T)$ 会产生"信息泄漏"——当前词可能直接从输入中"看到自己"。

**解决方案：掩码机制**：

在输入中随机遮盖 15% 的 token：
- 被遮盖的 token 以 [MASK] 替换
- 模型需要根据**双向上下文**预测被遮盖的词

**MLM 目标**：

$$\mathcal{L}_{\text{MLM}} = -\sum_{t \in \mathcal{M}} \log P(w_t | w_{\setminus t}) \tag{3.1}$$

其中 $\mathcal{M}$ 是被掩码的位置集合。

**这实现了同时利用左右上下文信息！**

### 3.3 BERT 的输入表示

**BERT 的输入是三部分之和**：

$$\boldsymbol{e}_t = \boldsymbol{e}_{\text{tok},t} + \boldsymbol{e}_{\text{pos},t} + \boldsymbol{e}_{\text{seg},t} \tag{3.2}$$

其中：
- $\boldsymbol{e}_{\text{tok},t}$：词嵌入（Token Embedding）
- $\boldsymbol{e}_{\text{pos},t}$：绝对位置嵌入（Position Embedding）
- $\boldsymbol{e}_{\text{seg},t}$：句子分段嵌入（Segment Embedding），用于区分句子 A 和 B

### 3.4 预训练任务详解

**任务 1：Masked Language Model（MLM）**

BERT 随机选择 15% 的 token 进行掩码：
- 80% 替换为 [MASK]
- 10% 替换为随机 token（增加鲁棒性）
- 10% 保持不变（减少 [MASK] 在微调时的影响）

**掩码策略设计动机**：缓解「预训练存在 [MASK]、微调无 [MASK]」的分布偏移问题。若全部使用 [MASK]，则预训练时模型看到 MASK token 但微调时看不到，造成不一致。随机词和保留原词让模型被迫学习更鲁棒的表示。

**数学表示**：

设 $w_t$ 是被选中的 token：
- 80%：$w_t \rightarrow \text{[MASK]}$
- 10%：$w_t \rightarrow w_{\text{random}}$
- 10%：$w_t \rightarrow w_t$（不变）

**任务 2：Next Sentence Prediction（NSP）**

判断句子 B 是否是句子 A 的下一句：

$$P(\text{IsNext} | \text{sentence } A, \text{ sentence } B) \tag{3.3}$$

**正样本**：B 确实是 A 的下一句
**负样本**：B 是随机采样的句子

**NSP 的核心缺陷**：NSP 偏向**主题匹配**（判断两句是否属于同一话题），无法学习深层语义连贯关系。这也是 RoBERTa 直接剔除 NSP 任务的根本原因。

**NSP 目标**：

$$\mathcal{L}_{\text{NSP}} = -\log P(\text{IsNext} | A, B) \tag{3.4}$$

### 3.5 BERT 的 Transformer 架构

**标准 Transformer Encoder**：

BERT-base 使用 12 层 Transformer Encoder：

```
Input: [CLS] token_1 [SEP] token_2 [SEP]
        ↓       ↓        ↓       ↓
     Token + Pos + Seg Embeddings
        ↓
     Transformer Encoder × 12
        ↓
     Output: [CLS] h_{T+1} ...
```

**每层 Transformer Block**：

1. **Multi-Head Self-Attention**
2. **Add & LayerNorm**
3. **Feed-Forward Network**
4. **Add & LayerNorm**

### 3.6 BERT 的输出表示

**定义（最后一层表示）**：

$$\mathbf{H}_t^{(L)} \in \mathbb{R}^d \tag{3.5}$$

这是第 $L$ 层（最后一层）Transformer 的输出。

**对于分类任务**（如情感分析）：
- 使用 [CLS] token 的表示：$\mathbf{H}_0^{(L)}$
- 通过 softmax 分类：
$$P(y | \mathbf{H}_0^{(L)}) = \text{softmax}(\mathbf{H}_0^{(L)} \mathbf{W}_o) \tag{3.6}$$

**对于序列标注任务**（如 NER）：
- 每个 token 的表示：$\mathbf{H}_t^{(L)}$
- 通过 CRF 层或 softmax 分类（工业界 NER 主流用法是 BERT + CRF）

**BERT 架构定位**：BERT 是**纯 Encoder-only 架构**，无解码器结构，天生不支持自回归文本生成，仅适合理解类任务。

### 3.7 BERT 与 ELMo 的对比

| 维度 | ELMo | BERT |
|------|------|------|
| **架构** | BiLSTM | Transformer Encoder |
| **双向上下文** | 拼接前后向 | 通过 MLM 同时利用 |
| **表示方式** | 加权层拼接 | 最后一层 + attention |
| **并行性** | 低（LSTM 序列性） | 高（Transformer 并行） |
| **长距离依赖** | 弱（< 200 tokens） | 强（512 tokens） |
| **掩码机制** | 无 | MLM |
| **预训练任务** | 语言模型 | MLM + NSP |

---

## 四、BERT 的数学细节

### 4.1 Self-Attention 的矩阵形式

**定义（Query, Key, Value）**：

对于输入序列 $\mathbf{H} \in \mathbb{R}^{T \times d}$：
$$\mathbf{Q} = \mathbf{H} \mathbf{W}_Q, \quad \mathbf{K} = \mathbf{H} \mathbf{W}_K, \quad \mathbf{V} = \mathbf{H} \mathbf{W}_V \tag{4.1}$$

**注意力分数**：

$$\mathbf{A} = \text{softmax}\left(\frac{\mathbf{Q} \mathbf{K}^\top}{\sqrt{d_k}}\right) \tag{4.2}$$

**除以 $\sqrt{d_k}$ 的作用**：防止高维下内积数值过大，导致 softmax 梯度饱和、训练停滞。

**输出**：

$$\mathbf{O} = \mathbf{A} \mathbf{V} \tag{4.3}$$

### 4.2 多头注意力

**定义（多头输出）**：

$$\text{MultiHead}(\mathbf{H}) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) \mathbf{W}_O \tag{4.4}$$

$$\text{head}_i = \text{Attention}(\mathbf{H} \mathbf{W}_Q^i, \mathbf{H} \mathbf{W}_K^i, \mathbf{H} \mathbf{W}_V^i) \tag{4.5}$$

**维度关系**：

如果 $d_{\text{model}} = 768$，$h = 12$，则每头的维度 $d_k = d_v = 64$。

**输出投影层**：拼接多头结果后必须经过输出投影层 $\mathbf{W}_O \in \mathbb{R}^{d_v \times d_{\text{model}}}$，将多头注意力输出映射回原始维度，保持模型一致性。

### 4.3 BERT 的训练目标

**总损失函数**：

$$\mathcal{L} = \mathcal{L}_{\text{MLM}} + \mathcal{L}_{\text{NSP}} \tag{4.6}$$

**MLM 损失**：

$$\mathcal{L}_{\text{MLM}} = -\sum_{t \in \mathcal{M}} \log \frac{\exp(\mathbf{H}_t^{(L)} \mathbf{w}_{w_t})}{\sum_{w \in V} \exp(\mathbf{H}_t^{(L)} \mathbf{w}_w)} \tag{4.7}$$

**NSP 损失**：

$$\mathcal{L}_{\text{NSP}} = -\left[ y \log P(\text{IsNext}) + (1-y) \log (1-P(\text{IsNext})) \right] \tag{4.8}$$

### 4.4 位置编码与长度外推

**BERT 的位置编码**：

使用可学习的绝对位置编码 $\mathbf{E}_{\text{pos}} \in \mathbb{R}^{512 \times d_{\text{model}}}$。

**问题：零外推性**：

BERT 原生仅支持 512 序列长度，无外推能力。当序列长度超过 512 时，无法查表。

**后续改进**：

| 方法 | 描述 |
|------|------|
| **RoPE** | 旋转位置编码，通过复数乘法实现相对位置编码（GPT、LLAMA 等使用） |
| **ALiBi** | 在注意力分数上加线性偏置 |
| **RoPE** | 解决长序列外推问题 |

---

## 五、BERT 的 Fine-tuning

### 5.1 预训练 + Fine-tuning 范式

**核心思想**：

1. **在大规模语料上预训练**：学习通用语言表示
2. **在下游任务上微调**：添加任务特定层，调整所有权重

**数学表示**：

预训练目标：
$$\theta^* = \arg\max_\theta \sum_{(w_1, \ldots, w_T)} \mathcal{L}_{\text{MLM}}(\theta) + \mathcal{L}_{\text{NSP}}(\theta) \tag{5.1}$$

Fine-tuning 目标：
$$\theta^* = \arg\max_{\theta'} \sum_{(x, y) \in \mathcal{D}_{\text{task}}} \mathcal{L}_{\text{task}}(\theta'; \theta^*) \tag{5.2}$$

### 5.2 不同任务的 Fine-tuning 方式

**分类任务**：

```
[CLS] → FC + softmax → 类别
```

**序列标注任务**（NER）：

```
token_1 → FC → tag_1
token_2 → FC → tag_2
...
```

**问答任务**（SQuAD）：

```
[CLS] question [SEP] context [SEP]
  ↓
预测答案范围的 start 和 end
```

**文本生成任务**：

BERT 本身不是生成模型，但可以通过添加解码器实现（如 BERT2BERT）。

---

## 六、训练中的问题与解决方案

### 6.1 BERT 训练的问题

**问题 1：[MASK] token 在微调时不出现**

预训练时使用 [MASK]，但微调时没有掩码。这导致预训练和微调的不一致。

**BERT 的解决方案（随机替换）**：

- 80% 替换为 [MASK]
- 10% 替换为随机 token
- 10% 保持不变

**后续改进（ERNIE 等）**：

引入了实体级掩码、 phrase 级掩码等更复杂的掩码策略。

**问题 2：NSP 任务太简单**

NSP 是一个二分类任务，学习太容易，没有学到足够的语义信息。

**解决方案**：

RoBERTa 去掉了 NSP 任务，使用动态掩码，取得了更好的效果。

### 6.2 训练不收敛

**问题表现**：

- Loss 爆炸或 NaN
- 梯度消失

**解决方案**：

1. 使用 AdamW 优化器（权重衰减解耦，适配预训练模型）
2. 学习率 warmup（预热步数为总步数的 1%~2%）
3. 梯度裁剪
4. 使用适当的权重衰减
5. 混合精度 BF16 训练（适配大模型，防止溢出）

### 6.3 BERT 微调通用超参（实战刚需）

- **基础学习率**：$2 \times 10^{-5} \sim 5 \times 10^{-5}$
- **预热步数**：总步数的 1%~2%
- **优化器**：优先 AdamW（权重衰减解耦）
- **批大小**：16~32（根据显存调整）
- **训练轮数**：2~4（小数据集避免过拟合）

### 6.3 内存与计算效率

**BERT-base 的资源需求**：

| 资源 | 需求 |
|------|------|
| 参数 | 110M |
| FP32 权重 | ~440MB |
| FP16 权重 | ~220MB |
| 训练 batch size | 32（单卡）或更大（多卡） |

**Gradient Checkpointing**：

通过在前向传播时不保存所有中间激活，而是在反向传播时重新计算，降低内存占用。

---

## 七、BERT 家族与后续发展

### 7.1 主要变体

| 模型 | 参数量 | 主要改进 |
|------|--------|---------|
| **BERT-base** | 110M | 12层, 768维, 12头 |
| **BERT-large** | 340M | 24层, 1024维, 16头 |
| **RoBERTa** | 125M | 去掉 NSP，动态掩码，更多数据 |
| **ALBERT** | 12M | 参数共享，减少内存 |
| **ELECTRA** | 110M | 替换 token 检测替代 MLM |
| **DeBERTa** | 134M | 分离注意力，解码增强 |

### 7.2 ELECTRA 的替换 token 检测

**核心思想**：

不是掩码，而是让一个小型的"生成器"替换某些 token，然后让"判别器"判断每个 token 是否被替换。

**数学表示**：

$$\mathcal{L}_{\text{Generator}} = -\sum_{t} \log P(w_t | w_t^{\text{corrupt}}) \quad \text{(生成器)} \tag{7.1}$$
$$\mathcal{L}_{\text{Discriminator}} = -\sum_{t} \log \mathbf{1}_{w_t = w_t^{\text{original}}} \quad \text{(判别器)} \tag{7.2}$$

**优势**：每个 token 位置都参与训练（而不只是 15% 的掩码位置），更高效。

### 7.3 从 BERT 到 GPT 的演进

**演进路径**：

```
BERT: Encoder-only (双向上下文, MLM)
  ↓
GPT-2: Decoder-only (单向, CLM)
  ↓
GPT-3: 更大规模 + Few-shot
  ↓
GPT-4: 多模态 + 更强推理
```

**核心差异**：

| 模型 | 架构 | 训练目标 | 上下文 |
|------|------|---------|-------|
| BERT | Encoder | MLM + NSP | 双向 |
| GPT-2/3 | Decoder | CLM | 单向 |

---

## 八、数学公式速查

### 8.1 ELMo 公式

**前向 LM 概率**：
$$P(w_t | w_1, \ldots, w_{t-1}) = \text{softmax}(\mathbf{h}_t^{\rightarrow} \mathbf{W}_o) \tag{8.1}$$

**双向 LM 损失**：
$$\mathcal{L} = \sum_{t=1}^T \left[ \log P(w_t | w_{<t}) + \log P(w_t | w_{>t}) \right] \tag{8.2}$$

**ELMo 表示**：
$$\mathbf{v}_t = \gamma \sum_{j=1}^L s_j \mathbf{h}_t^j \tag{8.3}$$

### 8.2 BERT 公式

**MLM 损失**：
$$\mathcal{L}_{\text{MLM}} = -\sum_{t \in \mathcal{M}} \log P(w_t | w_{\setminus t}) \tag{8.4}$$

**NSP 损失**：
$$\mathcal{L}_{\text{NSP}} = -\log P(\text{IsNext} | A, B) \tag{8.5}$$

**总损失**：
$$\mathcal{L} = \mathcal{L}_{\text{MLM}} + \mathcal{L}_{\text{NSP}} \tag{8.6}$$

### 8.3 注意力公式

**缩放点积注意力**：
$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right) V \tag{8.7}$$

**多头注意力**：
$$\text{MultiHead}(H) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) W_O \tag{8.8}$$

---

## 九、总结

**ELMo 与 BERT 的核心贡献**：

| 模型 | 核心贡献 | 局限性 |
|------|---------|-------|
| **ELMo** | 双向 LSTM LM + 上下文表示 | 架构限制，无法长依赖 |
| **BERT** | Transformer + MLM + NSP | 仍是 Encoder，不是生成模型 |

**为什么需要 BERT**：

1. **解决一词多义**：上下文相关表示自动区分不同语义
2. **捕获长距离依赖**：Transformer attention 覆盖全部上下文
3. **预训练 + 微调范式**：在大规模无标注数据上预训练，在小规模标注数据上微调

**BERT 对 NLP 的影响**：

> BERT 开启了"预训练 + 微调"的 NLP 新时代。在此之前，每个任务都需要从头训练；在此之后，所有任务都可以基于预训练模型微调。

**核心公式**：

- **ELMo**：双向 LSTM 的加权层拼接
- **BERT**：Masked LM 实现真正的双向上下文
- **Fine-tuning**：预训练参数初始化 + 任务特定层

---

**延伸阅读**：

1. Peters et al., "Deep Contextualized Word Representations" (NAACL 2018) — ELMo
2. Devlin et al., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" (NAACL 2019)
3. Radford et al., "GPT: Improving Language Understanding by Generative Pre-Training" (2018)
4. Liu et al., "RoBERTa: A Robustly Optimized BERT Pretraining Approach" (2019)
5. Clark et al., "ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators" (ICLR 2020)