7.2 KiB
title, draft, tags
| title | draft | tags | ||||
|---|---|---|---|---|---|---|
| 04-PPO-近端策略优化 | false |
|
1. 核心动机：为什么需要 PPO？
在 A2C 等算法中，我们面临一个核心矛盾：
-
步长太大： 策略更新过猛，导致
\pi_\theta发生剧烈坍缩，模型直接“练废”，且由于是 On-policy，数据无法重复利用，崩溃后很难恢复。 -
步长太小： 训练效率极其低下。
PPO 的目标是：在允许进行多次梯度下降更新的同时，确保新策略不会偏离旧策略太远。
2. 数学基石：重要性采样 (Importance Sampling)
要理解 PPO，必须先理解如何利用“旧数据”更新“新策略”。
2.1 目标函数的重写
传统的策略梯度目标函数为：
J(\theta) = \mathbb{E}_{a \sim \pi_\theta} [A^{\pi_{old}}(s, a)]
如果我们想用旧策略 \pi_{\theta_{old}} 采集的数据来更新当前策略 $\pi_\theta$，根据重要性采样公式 $\mathbb{E}{x \sim p}[f(x)] = \mathbb{E}{x \sim q}[\frac{p(x)}{q(x)}f(x)]$，我们可以将目标函数改写为：
J(\theta) = \mathbb{E}_{s, a \sim \pi_{\theta_{old}}} \left[ \frac{\pi_\theta(a|s)}{\pi_{\theta_{old}}(a|s)} A^{\pi_{old}}(s, a) \right]
我们令 概率比值 (Probability Ratio) 为：
r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}
-
若 $r_t(\theta) > 1$，说明该动作在新策略中概率增加了。
-
若 $r_t(\theta) = 1$，说明新旧策略一致。
3. PPO 的两种变体
PPO 主要有两种实现方式：PPO-Penalty 和 PPO-Clip。工业界几乎统一使用后者。
3.1 PPO-Clip (截断式)
这是 PPO 的精髓。为了限制 r_t(\theta) 的变化范围，我们定义如下目标函数：
L^{CLIP}(\theta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right] \right)
数学逻辑拆解：
-
第一项 $r_t(\theta) \hat{A}_t$： 标准的重要性采样目标。
-
第二项 $\text{clip}(\dots)\hat{A}_t$： 将
r_t(\theta)强制限制在[1-\epsilon, 1+\epsilon]之间（通常 $\epsilon=0.2$）。 -
\min操作： 这是一个非常保守的策略。-
当 $A > 0$（好动作）： 我们希望增加该动作概率，但
r_t(\theta)最大不能超过 $1+\epsilon$。梯度为 0，不再鼓励进一步增加。 -
当 $\hat{A}_t < 0$（坏动作）： 若 $r_t(\theta) < 1-\epsilon$，clip 将比值拉回 $1-\epsilon$，此时 $\min = r_t(\theta) \hat{A}_t$（两者皆为负，但
r_t更接近 1），同样限制对坏动作的过度惩罚。
-
核心意义： 无论优势多大或多小，单次更新对策略的改变都被限制在一个“信任区域”内，极大地保证了稳定性。
4. 完整的 PPO 损失函数
在实际代码实现中，PPO 通常采用 Actor-Critic 架构，总损失函数包含三部分：
L_{t}^{PPO}(\theta, \phi) = \mathbb{E}_t [ L_t^{CLIP}(\theta) - c_1 L_t^{VF}(\phi) + c_2 S[\pi_\theta](s_t) ]
-
$L^{CLIP}(\theta)$： 上文提到的 Actor 裁剪损失。
-
$L_t^{VF}(\phi)$： Critic 的价值损失（均方误差），$L_t^{VF} = (V_\phi(s_t) - V_t^{target})^2$。
-
$S[\pi_\theta]$： 策略熵（Entropy），鼓励探索，防止过早收敛到局部最优。
5. 训练过程 (Algorithmic Flow)
-
初始化 Actor 参数
\theta和 Critic 参数 $\phi$。 -
对于每一次迭代 (Iteration)：
-
采样： 使用当前策略
\pi_\theta在环境中运行T个步长，收集集合 ${s_t, a_t, r_t, \pi_\theta(a_t|s_t)}$。 -
优势估计： 计算每个时刻的优势 $\hat{A}_t$。通常使用 GAE (Generalized Advantage Estimation)。
-
更新旧策略： 令 $\theta_{old} \leftarrow \theta$。
-
内部优化循环 (K 个 Epoch)：
-
从采样的数据中随机抽取 Mini-batch。
-
计算当前新策略与旧策略的比值 $r_t(\theta)$。
-
计算 $L^{CLIP}$、价值损失和熵。
-
通过 Adam 等优化器同时更新
\theta和 $\phi$。
-
-
重复上述循环，直到满足停止条件。
-
6. GAE (广义优势估计) —— PPO 的黄金搭档
PPO 几乎总是配合 GAE 使用，其公式如下：
\hat{A}_t^{GAE}(\gamma, \lambda) = \sum_{l=0}^{\infty} (\gamma \lambda)^l \delta_{t+l} = \delta_t + \gamma \lambda \delta_{t+1} + (\gamma \lambda)^2 \delta_{t+2} + \cdots
其中 \delta_i = r_i + \gamma V_\phi(s_{i+1}) - V_\phi(s_i) 是 TD 误差。
6.1 推导与截断理解
注意这是一个无穷级数，但实际实现时会在 horizons T 处截断：
\hat{A}_t^{GAE} = \delta_t + \gamma \lambda \delta_{t+1} + \cdots + (\gamma \lambda)^{T-t-1} \delta_{T-1}
或者等价地使用递归形式（更常见于代码实现）：
\hat{A}_t^{GAE} = \delta_t + \gamma \lambda \hat{A}_{t+1}^{GAE}
6.2 \lambda 参数的物理意义
\lambda 值 |
等价于 | 偏差-方差权衡 |
|---|---|---|
\lambda = 0 |
1-step TD 误差：\hat{A}_t = \delta_t |
高偏差，低方差（估计最保守） |
\lambda = 1 |
Monte Carlo：\hat{A}_t = \sum_{l=0}^{T-t} \gamma^l r_{t+l} - V(s_t) |
零偏差，高方差（无偏但震荡大） |
\lambda \in (0,1) |
有限步 bootstrapping | 平衡偏差与方差 |
直觉： \lambda 就像是"看多远"的调节器。\lambda = 0.99 意味着你愿意综合很多步的 TD 误差（看得远），但每一步都有 \gamma \lambda \approx 0.99 \times 0.99 \approx 0.98 的折扣，防止远处噪声主导。
实践中： \lambda \in [0.9, 0.99] 是最常用范围，配合 \gamma \in [0.95, 0.99] 使用。
7. 可能出现的问题与调试建议
7.1 KL 散度爆炸
尽管有 Clip 机制，如果学习率过高，新旧策略的 KL 散度依然可能激增。
-
现象： 平均奖励突然掉零，Entropy 迅速下降。
-
对策： 减小学习率（PPO 对 LR 依然敏感，通常在
3 \times 10^{-4}左右）；增加\epsilon的限制。
7.2 价值函数无法收敛
Critic 无法准确预估 $V(s)$。
-
现象： 价值损失（Value Loss）居高不下。
-
对策： 对奖励进行缩放（Reward Scaling）；或者对 Observation 进行归一化（Normalization）。
7.3 过早失去探索欲望
-
现象： 智能体总是执行同一个动作，不再尝试新可能。
-
对策： 增加熵系数 $c_2$。
8. 总结：从 DQN 到 PPO 的进化
| 算法 | 核心思想 | 解决的问题 |
|---|---|---|
| DQN | 神经网络拟合 Q 表 | 处理高维连续状态空间 |
| A2C | 引入优势函数 A = Q - V | 降低策略梯度的方差 |
| A3C | 异步并行采样 | 加快训练速度，打破样本相关性 |
| PPO | 近端截断 (Clip) | 解决训练稳定性与步长敏感问题 |
PPO 成功地将强化学习从一种“黑艺术”变成了一项可靠的工程技术。理解了 PPO，你就掌握了通往大模型对齐（Alignment）和复杂机器人控制的大门密钥。