---
title: 7-最大熵RL
tags:
  - 最大熵
  - 强化学习
  - SAC
  - 数学基础
---

# 最大熵强化学习（Maximum Entropy Reinforcement Learning）

## 1. 基本框架

### 1.1 标准 RL 目标

标准强化学习的目标是找到一条最优策略 $\pi(a|s)$ 使得累积折扣奖励的期望最大化：

$$\max_\pi \mathbb{E}_{\pi}\left[\sum_{t=0}^{\infty} \gamma^t r(s_t, a_t)\right]$$

其中：
- $s_t \in \mathcal{S}$：状态空间
- $a_t \in \mathcal{A}$：动作空间
- $\gamma \in [0, 1)$：折扣因子
- $r(s, a)$：奖励函数

**定义 1.1（值函数）** 给定策略 $\pi$，状态值函数定义为从状态 $s$ 开始的期望累积奖励：

$$V^\pi(s) = \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t r(s_t, a_t) \mid s_0 = s\right]$$

**定义 1.2（动作值函数）** 动作值函数（Q 函数）定义为在状态 $s$ 执行动作 $a$ 后的期望累积奖励：

$$Q^\pi(s, a) = \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t r(s_t, a_t) \mid s_0 = s, a_0 = a\right]$$

两者满足递归关系（Bellman 方程）：

$$V^\pi(s) = \mathbb{E}_{a \sim \pi(\cdot|s)}\left[Q^\pi(s, a)\right]$$

$$Q^\pi(s, a) = r(s, a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}\left[V^\pi(s')\right]$$

### 1.2 最大熵 RL 目标

最大熵强化学习在标准目标基础上加入熵正则化项：

$$\max_\pi \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t \left(r(s_t, a_t) - \alpha \cdot \log \pi(a_t \mid s_t)\right)\right]$$

其中 $\alpha > 0$ 是温度参数，$-\log \pi(a|s)$ 是策略的**负对数熵**。

展开后的目标等价于：

$$\max_\pi \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t r(s_t, a_t)\right] - \alpha \cdot \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t \log \pi(a_t \mid s_t)\right]$$

### 1.3 熵正则化的物理意义

**定理 1.1（熵正则化的效果）** 在最大熵目标下，策略会同时优化奖励和行动多样性。对于任意两个都能获得高奖励的动作，最大熵目标会倾向于选择熵更高的策略分布。

**证明**：考虑最大化 $\mathbb{E}_{a\sim\pi}[r(a)] + \alpha H(\pi)$。使用拉格朗日乘子法，对每个状态的策略独立优化：

$$\mathcal{L} = \sum_a \pi(a) r(a) - \alpha \sum_a \pi(a) \log \pi(a) + \lambda\left(\sum_a \pi(a) - 1\right)$$

对 $\pi(a)$ 求导并设为零：

$$\frac{\partial \mathcal{L}}{\partial \pi(a)} = r(a) - \alpha(\log \pi(a) + 1) + \lambda = 0$$

解得：

$$\pi(a) \propto \exp\left(\frac{r(a)}{\alpha}\right)$$

这正是 **Softmax** 分布。温度参数 $\alpha$ 控制了策略的"平滑"程度：
- $\alpha \to 0$：策略趋近于确定性，选择奖励最高的动作
- $\alpha \to \infty$：策略趋近于均匀分布，完全探索

**温度参数 $\alpha$ 的作用**：

| $\alpha$ 值 | 策略行为 | 探索程度 |
|------------|---------|---------|
| $\alpha \to 0$ | 贪婪选择 | 几乎无探索 |
| $\alpha$ 适中 |  softmax 分布 | 平衡探索与利用 |
| $\alpha \to \infty$ | 均匀分布 | 完全探索 |

---

## 2. 软策略迭代（Soft Policy Iteration）

### 2.1 软 Bellman 方程

**定义 2.1（软 Q 函数）** 在最大熵框架下，定义软 Q 函数为：

$$Q^{soft}(s, a) = r(s, a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}\left[V^{soft}(s')\right]$$

其中软值函数定义为：

$$V^{soft}(s) = \alpha \log \int_a \exp\left(\frac{Q^{soft}(s,a)}{\alpha}\right) da = \alpha \log \sum_a \exp\left(\frac{Q^{soft}(s,a)}{\alpha}\right)$$

最后一步假设动作空间是离散的（对于连续空间，用积分）。

**定理 2.1（软值函数的等价形式）** 软值函数可写成：

$$V^{soft}(s) = \alpha \log \sum_a \exp\left(\frac{Q^{soft}(s,a)}{\alpha}\right) = \alpha \cdot \text{LogSumExp}_{a}\left(\frac{Q^{soft}(s,a)}{\alpha}\right)$$

**引理 2.1（软值函数与熵的关系）** 软值函数满足：

$$V^{soft}(s) = \mathbb{E}_{a\sim\pi_\alpha(\cdot|s)}\left[Q^{soft}(s,a)\right] + \alpha \cdot H\left(\pi_\alpha(\cdot|s)\right)$$

其中 $\pi_\alpha(a|s) \propto \exp\left(\frac{Q^{soft}(s,a)}{\alpha}\right)$。

**证明**：设 $\pi(a|s) = \frac{\exp(Q(s,a)/\alpha)}{Z(s)}$，其中 $Z(s) = \sum_{a'}\exp(Q(s,a')/\alpha)$。则：

$$\mathbb{E}_{\pi}[Q(s,a)] = \sum_a \pi(a|s) Q(s,a) = \frac{\sum_a \exp(Q(s,a)/\alpha) Q(s,a)}{Z(s)}$$

而：

$$\alpha \log Z(s) = \alpha \log \sum_a \exp(Q(s,a)/\alpha)$$

对 $\alpha \log Z(s)$ 求关于 $Q(s,a)$ 的导数：

$$\frac{\partial (\alpha \log Z)}{\partial Q(s,a)} = \alpha \cdot \frac{1}{Z} \cdot \exp(Q(s,a)/\alpha) = \pi(a|s)$$

因此：

$$\alpha \log Z(s) = \mathbb{E}_{\pi}[Q(s,a)] + \alpha H(\pi)$$

### 2.2 软策略迭代算法

**算法 2.1（软策略迭代）**

1. **初始化**：任意初始化 Q 函数 $Q(s,a)$
2. **软策略评估**：固定策略 $\pi(a|s) \propto \exp(Q(s,a)/\alpha)$，更新

$$Q(s,a) \leftarrow r(s,a) + \gamma \mathbb{E}_{s'\sim p}\left[\alpha \log \sum_{a'} \exp\left(\frac{Q(s',a')}{\alpha}\right)\right]$$

3. **软策略提升**：更新策略

$$\pi(a|s) \leftarrow \frac{\exp(Q(s,a)/\alpha)}{Z(s)}$$

4. 重复步骤 2-3 直到收敛

### 2.3 收敛性证明

**定理 2.2（软策略迭代的收敛性）** 软策略迭代收敛到唯一的最优软 Q 函数 $Q^*$，对应的策略 $\pi^*$ 满足 $\pi^*(a|s) \propto \exp(Q^*(s,a)/\alpha)$。

**证明**（Sketch）：

分两步证明。

**步骤 1：软策略评估保持 $Q$ 在当前策略下的不动点性质**

设当前策略为 $\pi$，定义算子 $\mathcal{T}^\pi$：

$$(\mathcal{T}^\pi Q)(s,a) = r(s,a) + \gamma \mathbb{E}_{s'\sim p}\left[\alpha \log \sum_{a'} \exp\left(\frac{Q(s',a')}{\alpha}\right)\right]$$

类似标准 RL 的证明，可以验证 $\mathcal{T}^\pi$ 是一个 $\gamma$-收缩算子。重复应用最终收敛到唯一的不动点 $Q^\pi$。

**步骤 2：软策略提升保证策略改进**

设 $Q = Q^{\pi_{old}}$，新策略 $\pi_{new}(a|s) \propto \exp(Q(s,a)/\alpha)$。需要证明 $V^{\pi_{new}}(s) \geq V^{\pi_{old}}(s)$。

考虑 $V^{\pi_{new}}(s) - V^{\pi_{old}}(s)$ 的展开，利用之前建立的等式关系可以完成证明。$\square$

---

## 3. Soft Actor-Critic（SAC）

### 3.1 算法框架

SAC（Soft Actor-Critic）是基于最大熵框架的 Actor-Critic 算法，由 Haarnoja 等人于 2018 年提出。

**算法 3.1（SAC 的目标函数）**

SAC 的 Actor 目标函数为最小化以下 KL 散度：

$$\mathcal{L}(\theta) = \mathbb{E}_{s\sim d_{\pi_\theta}, a\sim \pi_\theta(\cdot|s)}\left[D_{\text{KL}}\left(\pi_\theta(\cdot \mid s) \| \frac{\exp(Q(s,\cdot))}{Z(s)}\right)\right]$$

展开得：

$$D_{\text{KL}}(\pi \| \frac{\exp(Q/\alpha)}{Z}) = \mathbb{E}_{a\sim\pi}\left[\log \pi(a|s) - \frac{Q(s,a)}{\alpha} + \log Z(s)\right]$$

忽略常数 $\log Z(s)$，最小化该目标等价于最大化：

$$\mathbb{E}_{a\sim\pi}\left[\frac{Q(s,a)}{\alpha} - \log \pi(a|s)\right]$$

这正好对应最大熵目标中"奖励 + 熵"的形式。

### 3.2 双 Q 网络结构

SAC 使用两个独立的 Q 网络 $Q_{\theta_1}$ 和 $Q_{\theta_2}$ 来缓解 Q 值过估计问题：

$$Q(s,a) = \min_{i=1,2} Q_{\theta_i}(s,a)$$

目标网络 $Q_{\theta_i'}$ 的更新与标准 DDPG 类似：

$$\theta_i' \leftarrow \tau \theta_i + (1-\tau) \theta_i'$$

### 3.3 自动温度调整

手动调节 $\alpha$ 需要大量试错。SAC 提出了自动温度调整机制。

**定理 3.1（自动温度调整目标）** 目标是最小化熵正则化项的系数 $\alpha$，同时约束期望熵不低于目标值 $\mathcal{H}_{\text{target}}$：

$$\min_\alpha \mathbb{E}_{s\sim d_\pi}\left[\alpha \left( -\log \pi(a|s) - \mathcal{H}_{\text{target}} \right)\right]$$

实际的实现中，维护一个可学习的 $\alpha$：

$$\mathcal{L}(\alpha) = \mathbb{E}_{s\sim d_\pi, a\sim \pi}\left[\alpha \left( -\log \pi(a|s) - \mathcal{H}_{\text{target}} \right)\right]$$

更新规则：

$$\alpha \leftarrow \alpha - \eta \nabla_\alpha \mathcal{L}(\alpha)$$

### 3.4 与 TD3/Twin Delayed DDPG 的对比

| 特性 | SAC | TD3 |
|-----|-----|-----|
| 探索机制 | 熵最大化（最大熵） | 延迟更新 + 目标策略平滑 |
| 动作选择 | 随机策略 | 确定性策略 + 噪声 |
| Q 值修正 | 最小值修正（双 Q） | 延迟更新 |
| 超参数敏感度 | 对 $\alpha$ 敏感 | 对噪声参数敏感 |
| 理论框架 | 最大熵 RL | 标准 RL（策略梯度） |

---

## 4. 最大熵策略梯度

### 4.1 软策略梯度推导

**定理 4.1（软策略梯度定理）** 最大熵框架下的策略梯度为：

$$\nabla_\theta J(\pi) = \mathbb{E}_{s\sim d_\pi, a\sim \pi}\left[\nabla_\theta \log \pi(a|s) \cdot \left(Q^{soft}(s,a) - \log \pi(a|s)\right)\right]$$

或等价地写成：

$$\nabla_\theta J(\pi) = \mathbb{E}_{s\sim d_\pi, a\sim \pi}\left[\nabla_\theta \log \pi(a|s) \cdot \left(Q^{soft}(s,a) + \alpha \log \pi(a|s)\right)\right]$$

**推导**：

从最大熵目标出发：

$$J(\pi) = \mathbb{E}_\pi\left[\sum_t \gamma^t (r(s_t,a_t) - \alpha \log \pi(a_t|s_t))\right]$$

对参数 $\theta$ 的梯度：

$$\nabla_\theta J = \nabla_\theta \mathbb{E}_\pi\left[\sum_t \gamma^t r(s_t,a_t)\right] - \alpha \nabla_\theta \mathbb{E}_\pi\left[\sum_t \gamma^t \log \pi(a_t|s_t)\right]$$

第一项是标准策略梯度（REINFORCE）：

$$\nabla_\theta \mathbb{E}_\pi\left[\sum_t \gamma^t r(s_t,a_t)\right] = \mathbb{E}_\pi\left[\sum_t \gamma^t \nabla_\theta \log \pi(a_t|s_t) \cdot Q(s_t,a_t)\right]$$

第二项处理 $\nabla_\theta \log \pi$ 项与 $\log \pi$ 的乘积，经过 algebra 操作可化为 $\alpha \nabla_\theta \log \pi(a_t|s_t) \cdot \log \pi(a_t|s_t)$ 形式（忽略折扣因子与轨迹分布的细节差异）。合并后得到定理中的形式。

### 4.2 与标准策略梯度的关系

**标准策略梯度（REINFORCE）**：

$$\nabla_\theta J^{PG} = \mathbb{E}_\pi\left[\nabla_\theta \log \pi(a|s) \cdot Q^\pi(s,a)\right]$$

**最大熵策略梯度**：

$$\nabla_\theta J^{soft} = \mathbb{E}_\pi\left[\nabla_\theta \log \pi(a|s) \cdot \left(Q^{soft}(s,a) + \alpha \log \pi(a|s)\right)\right]$$

**引理 4.1（关系）**：令 $\alpha = 0$，则最大熵策略梯度退化为标准策略梯度。

**引理 4.2（EMP/Expected MDP 梯度）**：另一种相关的形式是"Expected MDP"梯度：

$$\nabla_\theta J^{EMP} = \mathbb{E}_\pi\left[Q^\pi(s,a) \cdot \nabla_\theta \log \pi(a|s)\right] - \mathbb{E}_\pi\left[V^\pi(s)\right] \cdot \nabla_\theta \mathbb{E}_\pi[1]$$

这与最大熵梯度在 $\alpha$ 取特定值时等价。

---

## 5. 探索-利用权衡

### 5.1 探索作为熵最大化

**定理 5.1（熵与探索的关系）** 在最大熵目标中，$\mathbb{E}\left[\sum_t \log \pi(a_t|s_t)\right]$ 正比于策略的**累积熵**。最大化该项等效于鼓励在所有时间步保持高行动多样性。

**信息论解释**：设 $\pi$ 的轨迹分布为 $\tau = (s_0, a_0, s_1, a_1, ...)$。轨迹的熵为：

$$H(\tau) = -\mathbb{E}_\pi\left[\log \pi(\tau)\right] = -\mathbb{E}_\pi\left[\sum_t \log \pi(a_t|s_t) + \log p(s_{t+1}|s_t,a_t)\right]$$

由于环境转移概率 $p(s_{t+1}|s_t,a_t)$ 不受策略控制，最大化轨迹熵等价于最大化 $\sum_t \log \pi(a_t|s_t)$。

### 5.2 内在动机与最大熵的等价性

**定义 5.1（内在动机）** 内在动机（Intrinsic Motivation）通过额外的"好奇心"奖励 $r^i(s,a)$ 来鼓励探索：

$$r^i(s,a) = f(\text{ novelty}(s,a))$$

常见的 novelty 度量包括：
- 伪计数（Pseudo-count）
- 信息增益（Information Gain）
- 预测误差（Prediction Error）

**定理 5.2（等价性）** 存在某些内在奖励构造，使得最大熵 RL 与内在动机 RL 等价。

具体而言，若设计内在奖励 $r^i(s,a) = -\alpha \cdot \log \pi(a|s)$（当前策略的负对数概率），则最大化 $r + r^i$ 等效于最大熵目标。

### 5.3 伪计数与信息增益的解释

**定义 5.2（伪计数）** 伪计数 $\hat{N}(s)$ 是对状态 $s$ 访问频率的估计。信息增益定义为：

$$\text{InfoGain}(s,a) = D_{\text{KL}}(p(\cdot|s,a) \| p(\cdot|s))$$

其中 $p(\cdot|s,a)$ 是转移模型，$p(\cdot|s)$ 是边际分布。

**与熵的关系**：最大化信息增益等价于最小化对未来不确定性的预期，这与最大熵目标中"保持高熵分布"的直觉相呼应。

---

## 6. 与其他方法的关系

### 6.1 最大熵 RL vs 熵正则化 DQN

| 方法 | 目标 | 策略 |
|-----|-----|-----|
| 标准 DQN | $\max_\pi \mathbb{E}\left[\sum_t \gamma^t r\right]$ | 确定性（$\epsilon$-贪婪） |
| 熵正则化 DQN | $\max_\pi \mathbb{E}\left[\sum_t \gamma^t (r - \alpha \log \pi)\right]$ | 随机（softmax） |

熵正则化 DQN 的 Q 更新规则变为：

$$Q(s,a) \leftarrow r(s,a) + \gamma \mathbb{E}_{s'}\left[\alpha \log \sum_{a'} \exp(Q(s',a')/\alpha)\right]$$

这与软策略迭代的更新完全一致。

### 6.2 最大熵 IRL（信息论视角）

**定义 6.1（最大熵 IRL）** 给定专家演示 $\mathcal{D} = \{(s_i, a_i)\}$，最大熵 IRL 的目标是推断奖励函数 $r(s,a)$，使得：

$$\max_r \mathbb{E}_{(s,a)\sim \mathcal{D}}[r(s,a)] - \alpha \log Z(r)$$

其中配分函数 $Z(r) = \sum_{s,a} \exp(r(s,a)/\alpha)$。

**信息论解释**：这等价于在给定约束 $\mathbb{E}[r(s,a)] = \mathbb{E}_{\mathcal{D}}[r(s,a)]$ 下，最大化分布 $p(a|s) \propto \exp(r(s,a)/\alpha)$ 的熵。

### 6.3 最大熵均衡

**定义 6.2（最大熵均衡）** 在博弈论中，最大熵均衡是在所有可能的均衡中熵最高的均衡：

$$\pi^* = \arg\max_\pi H(\pi) \quad \text{s.t.} \quad \pi \in \text{NE}(\text{game})$$

这与最大熵 RL 有类似的正则化动机：在不确定性下选择最"均匀"的均衡策略。

---

## 7. 理论分析

### 7.1 策略优化收敛性

**定理 7.1（最大熵策略优化的收敛性）** 在最大熵框架下，使用软策略迭代或 SAC，策略序列 $\{\pi_t\}$ 收敛到唯一的最优策略 $\pi^*$。

**关键引理（熵正则化的凸性）** 软值函数 $V^{soft}(s)$ 对 $Q$ 是 $\frac{1}{\alpha}$-光滑的（smooth），这保证了在连续动作空间中的收敛性。

### 7.2 温度参数的理论选择

**定理 7.2（温度参数与最优策略的关系）** 最优温度参数 $\alpha^*$ 满足：

$$\alpha^* = \arg\min_\alpha \mathbb{E}_\pi\left[\sum_t \gamma^t r(s_t,a_t)\right] \quad \text{s.t.} \quad \pi \propto \exp(Q/\alpha)$$

实践中，$\alpha$ 的选择取决于：
1. 任务难度：复杂多模态任务需要更高的 $\alpha$
2. 折扣因子 $\gamma$：高 $\gamma$ 意味着长期回报更重要，$\alpha$ 需要相应调整
3. 动作空间大小：动作空间越大，通常需要更大的 $\alpha$ 来鼓励探索

### 7.3 与奖励重塑的关系

**定义 7.1（奖励重塑）** 奖励重塑（Reward Shaping）将原奖励 $r$ 转换为 $\tilde{r} = r + F$，其中 $F$ 是势函数：

$$F(s,s') = \gamma \phi(s') - \phi(s)$$

**定理 7.3（最大熵与奖励重塑的关系）** 最大熵目标中的熵项可以视为一种特殊的"内在奖励重塑"：

这构成了一个**无势函数的奖励重塑**：$F(s,a) = -\alpha \log \pi(a|s)$ 不满足势函数的梯度条件，但它仍然保持了最优策略的不变性（在最大熵框架下）。

---

## 参考文献

1. Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. *ICML*.

2. Ziebart, B. D., Maas, A. L., Bagnell, J. A., & Dey, A. K. (2008). Maximum Entropy Inverse Reinforcement Learning. *AAAI*.

3. Mnih, V., et al. (2015). Human-level control through deep reinforcement learning. *Nature*.

4. Schulman, J., Levine, S., Abbeel, P., Jordan, M., & Moritz, P. (2015). Trust Region Policy Optimization. *ICML*.

5. Lillicrap, T. P., et al. (2015). Continuous control with deep reinforcement learning. *ICLR*.

6. Fujita, S., & Maeda, T. (2018). Clipped Action Policy Gradient. *ICML*.