6.6 KiB
title, draft, tags
| title | draft | tags | ||||
|---|---|---|---|---|---|---|
| 1-RNN-循环神经网络 | false |
|
循环神经网络 (Recurrent Neural Networks, RNN) 深度解析笔记
循环神经网络（RNN）是深度学习中处理序列数据（如文本、音频、时间序列）的核心架构。与传统的前馈神经网络（MLP）不同，RNN 引入了“隐状态”的概念，使其能够捕获数据在时间维度上的演变规律。
1. 核心动机：为什么要“循环”？
传统神经网络假设输入与输出之间是独立的。然而，在许多场景中，这种假设并不成立：
-
语言建模：预测下一个词取决于之前的语境。
-
视频处理：每一帧的含义往往依赖于前一帧。
RNN 通过将神经元的输出重新连接到输入，形成了一个带有“记忆”的反馈环路。
2. 数学模型与结构推导
我们可以将 RNN 看作是一个在时间步 t 上不断重复的单元。
2.1 符号定义
-
x_t \in \mathbb{R}^d:t时刻的输入向量。 -
h_t \in \mathbb{R}^h:t时刻的隐状态（Hidden State），代表了模型对过去信息的记忆。 -
y_t \in \mathbb{R}^q:t时刻的输出向量。 -
W_{xh}, W_{hh}, W_{hy}: 权重矩阵（注意：这些权重在所有时间步之间是共享的）。 -
b_h, b_y: 偏置项。
2.2 前向传播方程
在每一个时刻 $t$，RNN 执行以下两个计算步骤：
-
更新隐状态：
h_t = \sigma(W_{xh} x_t + W_{hh} h_{t-1} + b_h)其中
\sigma通常是tanh或ReLU激活函数。 -
计算当前输出：
y_t = \phi(W_{hy} h_t + b_y)对于分类任务，
\phi通常是 $Softmax$。
关键点：
h_t是关于x_t和h_{t-1}的函数，而h_{t-1}又是关于x_{t-1}和h_{t-2}的函数。通过递归，我们可以推导出 $h_t = f(x_t, x_{t-1}, x_{t-2}, \dots, x_1)$。
3. 训练算法：随时间反向传播 (BPTT)
RNN 的训练使用的是 Backpropagation Through Time (BPTT)。其实质仍然是链式法则，但由于权值共享，梯度的累加过程变得更加复杂。
3.1 损失函数
设总损失 \mathcal{L} 为所有时间步损失的和：
\mathcal{L} = \sum_{t=1}^T \mathcal{L}_t
3.2 梯度推导
以权重矩阵 W_{hh} 为例，我们要计算 $\frac{\partial \mathcal{L}}{\partial W_{hh}}$。根据链式法则：
\frac{\partial \mathcal{L}}{\partial W_{hh}} = \sum_{t=1}^T \frac{\partial \mathcal{L}_t}{\partial W_{hh}}
对于时刻 t 的梯度 $\frac{\partial \mathcal{L}t}{\partial W{hh}}$，由于 h_t 依赖于 $h_{t-1}$，而 h_{t-1} 又包含 $W_{hh}$，所以需要对整个历史轨迹求导。展开链式法则：
\frac{\partial \mathcal{L}_t}{\partial W_{hh}} = \frac{\partial \mathcal{L}_t}{\partial h_t} \cdot \frac{\partial h_t}{\partial W_{hh}}
但 \frac{\partial h_t}{\partial W_{hh}} 本身又是一个链式过程，因为 h_t 依赖于 $h_{t-1}$，继续展开：
= \frac{\partial \mathcal{L}_t}{\partial h_t} \cdot \left( \frac{\partial h_t}{\partial h_{t-1}} \cdot \frac{\partial h_{t-1}}{\partial W_{hh}} + \frac{\partial h_t}{\partial W_{hh}} \bigg|_{h_{t-1}} \right)
这里 \frac{\partial h_t}{\partial W_{hh}} \big|_{h_{t-1}} 表示将 h_{t-1} 视为常数时 h_t 对 W_{hh} 的直接偏导。继续递归展开 h_{t-1} 对 W_{hh} 的依赖，最终得到：
\frac{\partial \mathcal{L}_t}{\partial W_{hh}} = \sum_{k=1}^t \frac{\partial \mathcal{L}_t}{\partial y_t} \cdot \frac{\partial y_t}{\partial h_t} \cdot \left( \prod_{j=k+1}^t \frac{\partial h_j}{\partial h_{j-1}} \right) \cdot \frac{\partial h_k}{\partial W_{hh}}
逐步解释：
- $\frac{\partial \mathcal{L}_t}{\partial y_t} \cdot \frac{\partial y_t}{\partial h_t}$：从输出层到当前隐状态的梯度
- $\prod_{j=k+1}^t \frac{\partial h_j}{\partial h_{j-1}}$：关键乘积项，表示误差从时刻
t传播回时刻k时，中间经过的雅可比矩阵连乘 - $\frac{\partial h_k}{\partial W_{hh}}$：时刻
k的隐状态对W_{hh}的直接偏导
物理直观理解： 可以将 BPTT 理解为一条反向流淌的"误差河流"。在每个时间步，输出产生的误差会向过去的时间步逆流而上。每经过一个时间步的反向传播，梯度就需要乘以一个雅可比矩阵 $\frac{\partial h_j}{\partial h_{j-1}}$。这就好比一块石头从河流终点扔进去，激起的涟漪会向源头传播。但每经过一个水坝（时间步），涟漪的幅度就会被"打折"。折扣多少取决于水坝的透水性（雅可比矩阵的特征值）。
4. RNN 的致命伤：梯度消失与梯度爆炸
在处理长序列时，BPTT 面临严重的数值稳定性问题。
4.1 数学直观分析
观察上述乘积项 $\frac{\partial h_j}{\partial h_{j-1}}$。根据状态方程：
\frac{\partial h_j}{\partial h_{j-1}} = diag(\sigma'(W_{xh} x_j + W_{hh} h_{j-1} + b_h)) \cdot W_{hh}
如果序列很长（例如 t 很大），这个雅可比矩阵的连乘会导致：
-
梯度消失 (Vanishing Gradient)：如果
W_{hh}的特征值小于 1 且激活函数的导数较小（如tanh的导数 $\leq 1$），梯度会呈指数级减小。模型将“忘记”遥远的过去。 -
梯度爆炸 (Exploding Gradient)：如果
W_{hh}的特征值过大，梯度会迅速膨胀，导致参数更新步长过大，训练崩溃。
4.2 局限性总结
-
长期依赖缺失：标准 RNN 很难学习到相距超过 10-20 个时间步以上的依赖关系。
-
并行计算受限：由于
h_t必须等待h_{t-1}计算完成，RNN 无法像 CNN 那样在时间维度上高度并行化。
5. 改进方向与演进
为了解决梯度消失问题，研究者们提出了一种“门控机制”（Gating Mechanism）。
其基本思想是：既然直接连乘会导致梯度消失，那么我们能不能在网络中增加一些“高速公路”，让关键信息能够无损地流向未来？
这便引出了后来统治序列建模领域的 长短期记忆网络 (Long Short-Term Memory, LSTM)。LSTM 通过引入“遗忘门”、“输入门”和“输出门”，精细化地控制信息的保留与丢弃，从而极大地缓解了长程依赖问题。
总结表：RNN 关键特性
| 特性 | 描述 |
|---|---|
| 输入 | 变长的序列数据 |
| 参数 | W_{xh}, W_{hh}, W_{hy} 在所有时间步共享 |
| 记忆 | 通过隐状态 h_t 维持 |
| 弱点 | 梯度消失/爆炸，难以处理超长序列 |
| 后继者 | LSTM, GRU, 以及后来的 Transformer |