---
title: 1-RNN-循环神经网络
draft: false
tags:
  - RNN
  - 循环神经网络
  - 序列模型
  - 深度学习
---
## 循环神经网络 (Recurrent Neural Networks, RNN) 深度解析笔记

循环神经网络（RNN）是深度学习中处理**序列数据**（如文本、音频、时间序列）的核心架构。与传统的前馈神经网络（MLP）不同，RNN 引入了“隐状态”的概念，使其能够捕获数据在时间维度上的演变规律。

---

### 1. 核心动机：为什么要“循环”？

传统神经网络假设输入与输出之间是独立的。然而，在许多场景中，这种假设并不成立：

- **语言建模**：预测下一个词取决于之前的语境。
    
- **视频处理**：每一帧的含义往往依赖于前一帧。
    

RNN 通过将神经元的输出重新连接到输入，形成了一个带有“记忆”的反馈环路。

---

### 2. 数学模型与结构推导

我们可以将 RNN 看作是一个在时间步 $t$ 上不断重复的单元。

#### 2.1 符号定义

- $x_t \in \mathbb{R}^d$: $t$ 时刻的输入向量。
    
- $h_t \in \mathbb{R}^h$: $t$ 时刻的隐状态（Hidden State），代表了模型对过去信息的记忆。
    
- $y_t \in \mathbb{R}^q$: $t$ 时刻的输出向量。
    
- $W_{xh}, W_{hh}, W_{hy}$: 权重矩阵（注意：**这些权重在所有时间步之间是共享的**）。
    
- $b_h, b_y$: 偏置项。
    

#### 2.2 前向传播方程

在每一个时刻 $t$，RNN 执行以下两个计算步骤：

1. **更新隐状态**：
    
    $$h_t = \sigma(W_{xh} x_t + W_{hh} h_{t-1} + b_h)$$
    
    其中 $\sigma$ 通常是 $tanh$ 或 $ReLU$ 激活函数。
    
2. **计算当前输出**：
    
    $$y_t = \phi(W_{hy} h_t + b_y)$$
    
    对于分类任务，$\phi$ 通常是 $Softmax$。
    

> **关键点**：$h_t$ 是关于 $x_t$ 和 $h_{t-1}$ 的函数，而 $h_{t-1}$ 又是关于 $x_{t-1}$ 和 $h_{t-2}$ 的函数。通过递归，我们可以推导出 $h_t = f(x_t, x_{t-1}, x_{t-2}, \dots, x_1)$。

---

### 3. 训练算法：随时间反向传播 (BPTT)

RNN 的训练使用的是 **Backpropagation Through Time (BPTT)**。其实质仍然是链式法则，但由于权值共享，梯度的累加过程变得更加复杂。

#### 3.1 损失函数

设总损失 $\mathcal{L}$ 为所有时间步损失的和：

$$\mathcal{L} = \sum_{t=1}^T \mathcal{L}_t$$

#### 3.2 梯度推导

以权重矩阵 $W_{hh}$ 为例，我们要计算 $\frac{\partial \mathcal{L}}{\partial W_{hh}}$。根据链式法则：

$$\frac{\partial \mathcal{L}}{\partial W_{hh}} = \sum_{t=1}^T \frac{\partial \mathcal{L}_t}{\partial W_{hh}}$$

对于时刻 $t$ 的梯度 $\frac{\partial \mathcal{L}_t}{\partial W_{hh}}$，由于 $h_t$ 依赖于 $h_{t-1}$，而 $h_{t-1}$ 又包含 $W_{hh}$，所以需要对整个历史轨迹求导。展开链式法则：

$$\frac{\partial \mathcal{L}_t}{\partial W_{hh}} = \frac{\partial \mathcal{L}_t}{\partial h_t} \cdot \frac{\partial h_t}{\partial W_{hh}}$$

但 $\frac{\partial h_t}{\partial W_{hh}}$ 本身又是一个链式过程，因为 $h_t$ 依赖于 $h_{t-1}$，继续展开：

$$= \frac{\partial \mathcal{L}_t}{\partial h_t} \cdot \left( \frac{\partial h_t}{\partial h_{t-1}} \cdot \frac{\partial h_{t-1}}{\partial W_{hh}} + \frac{\partial h_t}{\partial W_{hh}} \bigg|_{h_{t-1}} \right)$$

这里 $\frac{\partial h_t}{\partial W_{hh}} \big|_{h_{t-1}}$ 表示将 $h_{t-1}$ 视为常数时 $h_t$ 对 $W_{hh}$ 的直接偏导。继续递归展开 $h_{t-1}$ 对 $W_{hh}$ 的依赖，最终得到：

$$\frac{\partial \mathcal{L}_t}{\partial W_{hh}} = \sum_{k=1}^t \frac{\partial \mathcal{L}_t}{\partial y_t} \cdot \frac{\partial y_t}{\partial h_t} \cdot \left( \prod_{j=k+1}^t \frac{\partial h_j}{\partial h_{j-1}} \right) \cdot \frac{\partial h_k}{\partial W_{hh}}$$

**逐步解释：**
- $\frac{\partial \mathcal{L}_t}{\partial y_t} \cdot \frac{\partial y_t}{\partial h_t}$：从输出层到当前隐状态的梯度
- $\prod_{j=k+1}^t \frac{\partial h_j}{\partial h_{j-1}}$：**关键乘积项**，表示误差从时刻 $t$ 传播回时刻 $k$ 时，中间经过的雅可比矩阵连乘
- $\frac{\partial h_k}{\partial W_{hh}}$：时刻 $k$ 的隐状态对 $W_{hh}$ 的直接偏导

**物理直观理解：** 可以将 BPTT 理解为一条反向流淌的"误差河流"。在每个时间步，输出产生的误差会向过去的时间步逆流而上。每经过一个时间步的反向传播，梯度就需要乘以一个雅可比矩阵 $\frac{\partial h_j}{\partial h_{j-1}}$。这就好比一块石头从河流终点扔进去，激起的涟漪会向源头传播。但每经过一个水坝（时间步），涟漪的幅度就会被"打折"。折扣多少取决于水坝的透水性（雅可比矩阵的特征值）。

---

### 4. RNN 的致命伤：梯度消失与梯度爆炸

在处理长序列时，BPTT 面临严重的数值稳定性问题。

#### 4.1 数学直观分析

观察上述乘积项 $\frac{\partial h_j}{\partial h_{j-1}}$。根据状态方程：

$$\frac{\partial h_j}{\partial h_{j-1}} = diag(\sigma'(W_{xh} x_j + W_{hh} h_{j-1} + b_h)) \cdot W_{hh}$$

如果序列很长（例如 $t$ 很大），这个雅可比矩阵的连乘会导致：

- **梯度消失 (Vanishing Gradient)**：如果 $W_{hh}$ 的特征值小于 1 且激活函数的导数较小（如 $tanh$ 的导数 $\leq 1$），梯度会呈指数级减小。模型将“忘记”遥远的过去。
    
- **梯度爆炸 (Exploding Gradient)**：如果 $W_{hh}$ 的特征值过大，梯度会迅速膨胀，导致参数更新步长过大，训练崩溃。
    

#### 4.2 局限性总结

1. **长期依赖缺失**：标准 RNN 很难学习到相距超过 10-20 个时间步以上的依赖关系。
    
2. **并行计算受限**：由于 $h_t$ 必须等待 $h_{t-1}$ 计算完成，RNN 无法像 CNN 那样在时间维度上高度并行化。
    

---

### 5. 改进方向与演进

为了解决梯度消失问题，研究者们提出了一种“门控机制”（Gating Mechanism）。

其基本思想是：既然直接连乘会导致梯度消失，那么我们能不能在网络中增加一些“高速公路”，让关键信息能够无损地流向未来？

这便引出了后来统治序列建模领域的 **长短期记忆网络 (Long Short-Term Memory, LSTM)**。LSTM 通过引入“遗忘门”、“输入门”和“输出门”，精细化地控制信息的保留与丢弃，从而极大地缓解了长程依赖问题。

---

### 总结表：RNN 关键特性

|**特性**|**描述**|
|---|---|
|**输入**|变长的序列数据|
|**参数**|$W_{xh}, W_{hh}, W_{hy}$ 在所有时间步共享|
|**记忆**|通过隐状态 $h_t$ 维持|
|**弱点**|梯度消失/爆炸，难以处理超长序列|
|**后继者**|LSTM, GRU, 以及后来的 Transformer|