---
title: 04-PPO-近端策略优化
draft: false
tags:
  - PPO
  - 近端策略优化
  - 强化学习
  - 深度强化学习
---
## 1. 核心动机：为什么需要 PPO？

在 A2C 等算法中，我们面临一个核心矛盾：

- **步长太大：** 策略更新过猛，导致 $\pi_\theta$ 发生剧烈坍缩，模型直接“练废”，且由于是 On-policy，数据无法重复利用，崩溃后很难恢复。
    
- **步长太小：** 训练效率极其低下。
    

PPO 的目标是：**在允许进行多次梯度下降更新的同时，确保新策略不会偏离旧策略太远。**

---

## 2. 数学基石：重要性采样 (Importance Sampling)

要理解 PPO，必须先理解如何利用“旧数据”更新“新策略”。

### 2.1 目标函数的重写

传统的策略梯度目标函数为：

$J(\theta) = \mathbb{E}_{a \sim \pi_\theta} [A^{\pi_{old}}(s, a)]$

如果我们想用旧策略 $\pi_{\theta_{old}}$ 采集的数据来更新当前策略 $\pi_\theta$，根据重要性采样公式 $\mathbb{E}_{x \sim p}[f(x)] = \mathbb{E}_{x \sim q}[\frac{p(x)}{q(x)}f(x)]$，我们可以将目标函数改写为：

$$J(\theta) = \mathbb{E}_{s, a \sim \pi_{\theta_{old}}} \left[ \frac{\pi_\theta(a|s)}{\pi_{\theta_{old}}(a|s)} A^{\pi_{old}}(s, a) \right]$$

我们令 **概率比值 (Probability Ratio)** 为：

$$r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$$

- 若 $r_t(\theta) > 1$，说明该动作在新策略中概率增加了。
    
- 若 $r_t(\theta) = 1$，说明新旧策略一致。
    

---

## 3. PPO 的两种变体

PPO 主要有两种实现方式：**PPO-Penalty** 和 **PPO-Clip**。工业界几乎统一使用后者。

### 3.1 PPO-Clip (截断式)

这是 PPO 的精髓。为了限制 $r_t(\theta)$ 的变化范围，我们定义如下目标函数：

$$L^{CLIP}(\theta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right] \right)$$

**数学逻辑拆解：**

1. **第一项 $r_t(\theta) \hat{A}_t$：** 标准的重要性采样目标。
    
2. **第二项 $\text{clip}(\dots)\hat{A}_t$：** 将 $r_t(\theta)$ 强制限制在 $[1-\epsilon, 1+\epsilon]$ 之间（通常 $\epsilon=0.2$）。
    
3. **$\min$ 操作：** 这是一个非常保守的策略。
    
    - **当 $A > 0$（好动作）：** 我们希望增加该动作概率，但 $r_t(\theta)$ 最大不能超过 $1+\epsilon$。梯度为 0，不再鼓励进一步增加。
        
    - **当 $\hat{A}_t < 0$（坏动作）：** 若 $r_t(\theta) < 1-\epsilon$，clip 将比值拉回 $1-\epsilon$，此时 $\min = r_t(\theta) \hat{A}_t$（两者皆为负，但 $r_t$ 更接近 1），同样限制对坏动作的过度惩罚。
        

**核心意义：** 无论优势多大或多小，单次更新对策略的改变都被限制在一个“信任区域”内，极大地保证了稳定性。

---

## 4. 完整的 PPO 损失函数

在实际代码实现中，PPO 通常采用 Actor-Critic 架构，总损失函数包含三部分：

$$L_{t}^{PPO}(\theta, \phi) = \mathbb{E}_t [ L_t^{CLIP}(\theta) - c_1 L_t^{VF}(\phi) + c_2 S[\pi_\theta](s_t) ]$$

1. **$L^{CLIP}(\theta)$：** 上文提到的 Actor 裁剪损失。
    
2. **$L_t^{VF}(\phi)$：** Critic 的价值损失（均方误差），$L_t^{VF} = (V_\phi(s_t) - V_t^{target})^2$。
    
3. **$S[\pi_\theta]$：** 策略熵（Entropy），鼓励探索，防止过早收敛到局部最优。
    

---

## 5. 训练过程 (Algorithmic Flow)

1. 初始化 Actor 参数 $\theta$ 和 Critic 参数 $\phi$。
    
2. **对于每一次迭代 (Iteration)：**
    
    - **采样：** 使用当前策略 $\pi_\theta$ 在环境中运行 $T$ 个步长，收集集合 $\{s_t, a_t, r_t, \pi_\theta(a_t|s_t)\}$。
        
    - **优势估计：** 计算每个时刻的优势 $\hat{A}_t$。通常使用 **GAE (Generalized Advantage Estimation)**。
        
    - **更新旧策略：** 令 $\theta_{old} \leftarrow \theta$。
        
    - **内部优化循环 (K 个 Epoch)：**
        
        - 从采样的数据中随机抽取 Mini-batch。
            
        - 计算当前新策略与旧策略的比值 $r_t(\theta)$。
            
        - 计算 $L^{CLIP}$、价值损失和熵。
            
        - 通过 Adam 等优化器同时更新 $\theta$ 和 $\phi$。
            
    - 重复上述循环，直到满足停止条件。
        

---

## 6. GAE (广义优势估计) —— PPO 的黄金搭档

PPO 几乎总是配合 GAE 使用，其公式如下：

$$\hat{A}_t^{GAE}(\gamma, \lambda) = \sum_{l=0}^{\infty} (\gamma \lambda)^l \delta_{t+l} = \delta_t + \gamma \lambda \delta_{t+1} + (\gamma \lambda)^2 \delta_{t+2} + \cdots$$

其中 $\delta_i = r_i + \gamma V_\phi(s_{i+1}) - V_\phi(s_i)$ 是 TD 误差。

### 6.1 推导与截断理解

注意这是一个无穷级数，但实际实现时会在 horizons $T$ 处截断：

$$\hat{A}_t^{GAE} = \delta_t + \gamma \lambda \delta_{t+1} + \cdots + (\gamma \lambda)^{T-t-1} \delta_{T-1}$$

或者等价地使用递归形式（更常见于代码实现）：

$$\hat{A}_t^{GAE} = \delta_t + \gamma \lambda \hat{A}_{t+1}^{GAE}$$

### 6.2 $\lambda$ 参数的物理意义

| $\lambda$ 值 | 等价于 | 偏差-方差权衡 |
|--------------|--------|--------------|
| $\lambda = 0$ | 1-step TD 误差：$\hat{A}_t = \delta_t$ | 高偏差，低方差（估计最保守） |
| $\lambda = 1$ | Monte Carlo：$\hat{A}_t = \sum_{l=0}^{T-t} \gamma^l r_{t+l} - V(s_t)$ | 零偏差，高方差（无偏但震荡大） |
| $\lambda \in (0,1)$ | 有限步 bootstrapping | 平衡偏差与方差 |

**直觉：** $\lambda$ 就像是"看多远"的调节器。$\lambda = 0.99$ 意味着你愿意综合很多步的 TD 误差（看得远），但每一步都有 $\gamma \lambda \approx 0.99 \times 0.99 \approx 0.98$ 的折扣，防止远处噪声主导。

**实践中：** $\lambda \in [0.9, 0.99]$ 是最常用范围，配合 $\gamma \in [0.95, 0.99]$ 使用。
    

---

## 7. 可能出现的问题与调试建议

### 7.1 KL 散度爆炸

尽管有 Clip 机制，如果学习率过高，新旧策略的 KL 散度依然可能激增。

- **现象：** 平均奖励突然掉零，Entropy 迅速下降。
    
- **对策：** 减小学习率（PPO 对 LR 依然敏感，通常在 $3 \times 10^{-4}$ 左右）；增加 $\epsilon$ 的限制。
    

### 7.2 价值函数无法收敛

Critic 无法准确预估 $V(s)$。

- **现象：** 价值损失（Value Loss）居高不下。
    
- **对策：** 对奖励进行缩放（Reward Scaling）；或者对 Observation 进行归一化（Normalization）。
    

### 7.3 过早失去探索欲望

- **现象：** 智能体总是执行同一个动作，不再尝试新可能。
    
- **对策：** 增加熵系数 $c_2$。
    

---

## 8. 总结：从 DQN 到 PPO 的进化

|**算法**|**核心思想**|**解决的问题**|
|---|---|---|
|**DQN**|神经网络拟合 Q 表|处理高维连续状态空间|
|**A2C**|引入优势函数 A = Q - V|降低策略梯度的方差|
|**A3C**|异步并行采样|加快训练速度，打破样本相关性|
|**PPO**|**近端截断 (Clip)**|**解决训练稳定性与步长敏感问题**|

PPO 成功地将强化学习从一种“黑艺术”变成了一项可靠的工程技术。理解了 PPO，你就掌握了通往大模型对齐（Alignment）和复杂机器人控制的大门密钥。