---
title: 05-多智能体强化学习
tags:
  - 多智能体
  - 强化学习
  - 博弈论
  - 深度强化学习
---

# 多智能体强化学习

> 本章作者：多智能体强化学习课题组
> 更新日期：2026-05-14
> 参考资料：MARL 综述 (Zhang et al., 2021), Dec-POMDP (Oliehoek & Amato, 2016)

---

## 1. 多智能体强化学习基础

### 1.1 博弈论基础

#### 1.1.1 正常形博弈（Normal-Form Game）

**定义 1.1（正常形博弈）** 一个 $n$ 智能体的正常形博弈定义为元组：

$$
\mathcal{G} = \langle \mathcal{N}, \mathcal{A}, \mathcal{R} \rangle
$$

其中：
- $\mathcal{N} = \{1, 2, \ldots, n\}$ 为智能体集合
- $\mathcal{A} = \mathcal{A}_1 \times \mathcal{A}_2 \times \cdots \times \mathcal{A}_n$ 为联合动作空间，$\mathcal{A}_i$ 为智能体 $i$ 的动作空间
- $\mathcal{R} = (r_1, r_2, \ldots, r_n)$ 为收益函数向量，其中 $r_i: \mathcal{A} \rightarrow \mathbb{R}$

**定义 1.2（策略与混合策略）** 智能体 $i$ 的**纯策略**是 $\mathcal{A}_i$ 中的一个动作 $a_i$。**混合策略**是定义在 $\mathcal{A}_i$ 上的概率分布：

$$
\sigma_i(a_i) \geq 0, \quad \sum_{a_i \in \mathcal{A}_i} \sigma_i(a_i) = 1
$$

联合混合策略为 $\boldsymbol{\sigma} = (\sigma_1, \ldots, \sigma_n)$，在不至于混淆时简记为 $\sigma$。

#### 1.1.2 扩展形博弈（Extensive-Form Game）

**定义 1.3（扩展形博弈）** 一个有限完美信息扩展形博弈定义为元组：

$$
\mathcal{G} = \langle \mathcal{N}, \mathcal{H}, \mathcal{A}, \mathcal{Z}, \mathcal{R}, \rho \rangle
$$

其中：
- $\mathcal{H}$ 为历史节点集合（根节点为空序列 $\varnothing$）
- $\mathcal{A}$ 为动作集合
- $\mathcal{Z} \subseteq \mathcal{H}$ 为终止节点集合
- $\rho: \mathcal{H} \setminus \mathcal{Z} \rightarrow \mathcal{N}$ 为将每个决策节点分配给某智能体的函数
- $\mathcal{R}: \mathcal{Z} \rightarrow \mathbb{R}^n$ 为终端收益函数

对于**不完美信息**博弈，引入信息集合（Information Set）的概念：

**定义 1.4（信息集合）** 智能体 $i$ 的信息集合 $\mathcal{I}_i$ 是其决策节点的集合，满足：玩家在 $\mathcal{I}_i$ 中任意节点上观察到相同的可用信息。

#### 1.1.3 纳什均衡（Nash Equilibrium）

**定义 1.5（纳什均衡）** 混合策略组合 $\sigma^*$ 构成**纯策略纳什均衡**当且仅当对每个智能体 $i$：

$$
a_i^* \in \arg\max_{a_i \in \mathcal{A}_i} r_i(a_i, \sigma_{-i}^*)
$$

**定理 1.1（纳什存在性，Nash 1950）** 任意有限正常形博弈至少存在一个混合策略纳什均衡。

*证明思路*：将混合策略空间视为 $\Delta(\mathcal{A}_i)$ 的笛卡尔积（紧凸集），定义最佳响应映射 $BR(\sigma_{-i}) = \arg\max_{\sigma_i} u_i(\sigma_i, \sigma_{-i})$。该映射为上半连续、凸值的 Kakutani 不动点定理适用，故存在不动点即纳什均衡。 $\square$

#### 1.1.4 零和博弈与一般和博弈

**定义 1.6（零和博弈）** 若博弈 $\mathcal{G}$ 满足 $\sum_{i \in \mathcal{N}} r_i(\mathbf{a}) = 0, \forall \mathbf{a} \in \mathcal{A}$，则称为**零和博弈**。此时可简记收益为 $r_1(\mathbf{a}) = -r_2(\mathbf{a})$（二人博弈）。

**定义 1.7（一般和博弈）** 若博弈不满足零和条件，则为**一般和博弈**。一般和博弈的纳什均衡可能帕累托次优（Pareto Suboptimal）。

---

### 1.2 Dec-POMDP 形式化

**定义 1.8（Dec-POMDP）**  Decentralized Partially Observable Markov Decision Process 定义为元组：

$$
\mathcal{M} = \langle \mathcal{N}, \mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \Omega, \mathcal{O}, \gamma, T \rangle
$$

其中：
- $\mathcal{N} = \{1, 2, \ldots, n\}$：智能体数量
- $\mathcal{S}$：状态空间（全局状态）
- $\mathcal{A} = \prod_{i=1}^n \mathcal{A}_i$：联合动作空间，$\mathcal{A}_i$ 为智能体 $i$ 的动作空间
- $\mathcal{P}: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \rightarrow [0, 1]$：状态转移概率，$P(s'|s, \mathbf{a})$
- $\mathcal{R}: \mathcal{S} \times \mathcal{A} \rightarrow \mathbb{R}$：联合奖励函数
- $\Omega$：观测空间，$\Omega = \prod_{i=1}^n \Omega_i$
- $\mathcal{O}: \mathcal{S} \times \Omega \rightarrow [0,1]$：观测函数，$O(o|s)$ 表示在状态 $s$ 下产生观测 $o$ 的概率
- $\gamma \in [0, 1)$：折扣因子
- $T$：规划时域（有限时域 MDP 可设 $T$ 为有限值）

**关键约束**：各智能体只能基于**局部观测历史**做出决策，无法直接访问全局状态 $s$ 或其他智能体的观测/动作。

#### 1.2.1 联合策略与历史

**定义 1.9（个体策略）** 智能体 $i$ 的**随机策略**定义为：

$$
\pi_i: \mathcal{H}_i \rightarrow \Delta(\mathcal{A}_i)
$$

其中 $\mathcal{H}_i$ 为智能体 $i$ 的观测历史空间，$\Delta(\mathcal{A}_i)$ 为动作空间上的概率分布。

**定义 1.10（联合策略）** 联合策略为 $\boldsymbol{\pi} = (\pi_1, \ldots, \pi_n)$。

**定义 1.11（联合历史策略）** 联合历史 $\mathbf{h}_t = (h_t^1, \ldots, h_t^n)$ 下的动作分布为：

$$
\boldsymbol{\pi}(\mathbf{a}_t | \mathbf{h}_t) = \prod_{i=1}^n \pi_i(a_t^i | h_t^i)
$$

#### 1.2.2 联合价值函数

**定义 1.12（状态-动作价值函数）** 给定联合策略 $\boldsymbol{\pi}$，定义状态-动作价值函数：

$$
Q^{\boldsymbol{\pi}}(s, \mathbf{a}) = \mathbb{E}_{s' \sim P, \mathbf{a}' \sim \boldsymbol{\pi}} \left[ \sum_{t=0}^{\infty} \gamma^t r(s_t, \mathbf{a}_t) \Big| s_0 = s, \mathbf{a}_0 = \mathbf{a} \right]
$$

**定义 1.13（值函数）** 状态值函数：

$$
V^{\boldsymbol{\pi}}(s) = \mathbb{E}_{\mathbf{a} \sim \boldsymbol{\pi}(\cdot|s)} [ Q^{\boldsymbol{\pi}}(s, \mathbf{a}) ] = \sum_{\mathbf{a}} \boldsymbol{\pi}(\mathbf{a}|s) Q^{\boldsymbol{\pi}}(s, \mathbf{a})
$$

**定理 1.2（Bellman 方程）** 联合价值函数满足：

$$
Q^{\boldsymbol{\pi}}(s, \mathbf{a}) = \mathcal{R}(s, \mathbf{a}) + \gamma \sum_{s'} P(s'|s, \mathbf{a}) V^{\boldsymbol{\pi}}(s')
$$

$$
V^{\boldsymbol{\pi}}(s) = \sum_{\mathbf{a}} \boldsymbol{\pi}(\mathbf{a}|s) \left[ \mathcal{R}(s, \mathbf{a}) + \gamma \sum_{s'} P(s'|s, \mathbf{a}) V^{\boldsymbol{\pi}}(s') \right]
$$

#### 1.2.3 有限时域与折扣形式

**有限时域（Horizon $T$）**：

$$
J^{\boldsymbol{\pi}}(\mathcal{M}) = \mathbb{E} \left[ \sum_{t=0}^{T-1} \gamma^t r(s_t, \mathbf{a}_t) \right]
$$

**折扣形式（Discounted）**：

$$
J^{\boldsymbol{\pi}}(\mathcal{M}) = \mathbb{E} \left[ \sum_{t=0}^{\infty} \gamma^t r(s_t, \mathbf{a}_t) \right]
$$

两类目标函数在理论上具有等价性：可通过拉格朗日乘子法相互转换。

---

### 1.3 信用分配问题

#### 1.3.1 问题的数学描述

在多智能体系统中，联合奖励 $r(s, \mathbf{a})$ 是所有智能体动作的函数。当团队获得一个高（低）奖励时，如何确定每个智能体对此的贡献？

**定义 1.14（信用分配）** 给定联合奖励 $r_t = r(s_t, \mathbf{a}_t)$，信用分配问题旨在为每个智能体 $i$ 分配**信用值** $c_t^i$，使得：

$$
\sum_{i=1}^n c_t^i = r_t, \quad \forall t
$$

且 $c_t^i$ 反映了智能体 $i$ 对联合奖励的**因果贡献**。

#### 1.3.2 Shapley 值方法

**定义 1.15（Shapley 信用分配）** 智能体 $i$ 的 Shapley 值为：

$$
\phi_i(r, \mathcal{N}) = \sum_{\mathcal{S} \subseteq \mathcal{N} \setminus \{i\}} \frac{|\mathcal{S}|! (n - |\mathcal{S}| - 1)!}{n!} \left[ r(\mathcal{S} \cup \{i\}) - r(\mathcal{S}) \right]
$$

其中 $r(\mathcal{S})$ 为子集 $\mathcal{S}$ 中智能体单独工作时的奖励贡献。

Shapley 值满足：
1. **效率性**：$\sum_i \phi_i = r(\mathcal{N})$
2. **对称性**：对称智能体具有相同信用
3. **可加性**：$r = r_1 + r_2 \Rightarrow \phi(r) = \phi(r_1) + \phi(r_2)$
4. **虚拟性**：空集贡献为零

#### 1.3.3 反事实梯度估计

**定义 1.16（反事实信用分配）** 智能体 $i$ 的反事实优势：

$$
A_i(s, \mathbf{a}) = Q(s, \mathbf{a}) - \mathbb{E}_{a_i' \sim \pi_i(\cdot|s)} [Q(s, (a_i', \mathbf{a}_{-i}))]
$$

**定理 1.3（Counterfactual Multi-Agent Policy Gradient）** 智能体 $i$ 的策略梯度：

$$
\nabla_{\theta_i} J \approx \mathbb{E}_{s \sim d^{\pi}, \mathbf{a} \sim \pi} \left[ \nabla_{\theta_i} \log \pi_i(a_i|s) \cdot A_i(s, \mathbf{a}) \right]
$$

---

## 2. 值函数分解方法

### 2.1 VDN：值分解网络

#### 2.1.1 核心思想

VDN (Sunehag et al., 2017) 假设联合价值函数可分解为各智能体价值函数的**线性求和**：

$$
Q_{\mathrm{KL}^{\boldsymbol{\pi}}(s, \mathbf{a}) = \sum_{i=1}^n Q_i^{\pi_i}(s, a_i)
$$

#### 2.1.2 数学推导

**定理 2.1（VDN 分解条件）** 若存在分解使得 $Q_{\mathrm{KL} = \sum_i Q_i$，则在 $\gamma$-折扣无限时域下，最优联合策略 $\boldsymbol{\pi}^*$ 可通过独立优化每个 $Q_i$ 获得。

*证明*：设 $\boldsymbol{\pi}^* = \arg\max_{\boldsymbol{\pi}} V^{\boldsymbol{\pi}}(s)$。对任意 $s$：

$$
V^{\boldsymbol{\pi}^*}(s) = \max_{\boldsymbol{\pi}} \sum_{\mathbf{a}} \boldsymbol{\pi}(\mathbf{a}|s) Q_{\mathrm{KL}}(s, \mathbf{a})
$$

代入分解假设：

$$
= \max_{\boldsymbol{\pi}} \sum_{\mathbf{a}} \prod_i \pi_i(a_i|s) \sum_i Q_i(s, a_i) = \max_{\boldsymbol{\pi}} \sum_i \sum_{a_i} \pi_i(a_i|s) Q_i(s, a_i)
$$

由于求和可分离，最优解为 $\pi_i^*(\cdot|s) = \delta(a_i = \arg\max_{a_i'} Q_i(s, a_i'))$，即独立优化各智能体。$\square$

#### 2.1.3 VDN 网络结构

VDN 采用**相加结构**：

$$
Q_{\mathrm{KL}}(s, \mathbf{a}; \boldsymbol{\theta}) = \sum_{i=1}^n f_i(s, a_i; \theta_i)
$$

其中每个 $f_i$ 为智能体 $i$ 的局部 Q 网络，参数 $\theta_i$ 独立。

**训练目标（TD-error）**：

$$
\mathcal{L}(\boldsymbol{\theta}) = \mathbb{E}_{s, \mathbf{a}, r, s'} \left[ (y - Q_{\mathrm{KL}}(s, \mathbf{a}; \boldsymbol{\theta}))^2 \right]
$$

其中 $y = r + \gamma \sum_i Q_i(s', a_i'; \boldsymbol{\theta}^-)$。

#### 2.1.4 VDN 的局限性

VDN 的线性加和结构具有**表达力不足**的问题：无法建模智能体间的**非线性交互**。例如：

$$
Q(s, a_1, a_2) = \mathbb{1}_{a_1 = a_2} - \mathbb{1}_{a_1 \neq a_2}
$$

此函数不可分解为 $Q_1(a_1) + Q_2(a_2)$ 的形式。

---

### 2.2 QMIX：单调性约束分解

#### 2.2.1 问题设定

QMIX (Rashid et al., 2018) 引入**混合网络**（Mixing Network）以建模非线性分解：

$$
Q_{\mathrm{KL}}(s, \mathbf{a}) = f_{\mathrm{KL}}(Q_1(s, a_1), \ldots, Q_n(s, a_n); s)
$$

其中 $f_{\mathrm{KL}}$ 为非线性混合网络，以全局状态 $s$ 为条件。

#### 2.2.2 单调性约束

**定义 2.1（单调性约束）** 为保证**因子化最优策略**（Factorized Optimal Policy），混合网络需满足：

$$
\frac{\partial f_{\mathrm{KL}}{\partial Q_i} \geq 0, \quad \forall i
$$

即 $f_{\mathrm{KL}}$ 对每个 $Q_i$ **非递减**。

**定理 2.2（QMIX 因子化最优性）** 在单调性约束下，**全局最优动作**可通过**独立贪婪**各智能体获得：

$$
\arg\max_{\mathbf{a}} Q_{\mathrm{KL}}(s, \mathbf{a}) = \left( \arg\max_{a_1} Q_1(s, a_1), \ldots, \arg\max_{a_n} Q_n(s, a_n) \right)
$$

*证明*：设 $\mathbf{a}^* = \arg\max_{\mathbf{a}} f_{\mathrm{KL}}(Q_1(s, a_1), \ldots, Q_n(s, a_n))$。由于 $\partial f_{\mathrm{KL} / \partial Q_i \geq 0$，$f_{\mathrm{KL}}$ 对每个 $Q_i$ 非递减。因此，增大任意 $Q_i$ 不会降低 $Q_{\mathrm{KL}}$。故：

$$
a_i^* \in \arg\max_{a_i} Q_i(s, a_i) \Rightarrow \mathbf{a}^* = (a_1^*, \ldots, a_n^*)
$$

$\square$

#### 2.2.3 混合网络结构

混合网络采用**超参数网络**（Hypernetwork）结构生成线性层的权重和偏置：

$$
f_{\mathrm{KL}}(Q_1, \ldots, Q_n; s) = \mathbf{h}^\top \mathbf{v} + b
$$

其中 $\mathbf{h} = \text{MLP}([Q_1, \ldots, Q_n])$，$\mathbf{v}, b$ 由 $\text{HyperNet}(s)$ 生成。

**单调性实现**：使用绝对值激活确保权重非负：

$$
W_i^+ = |W_i|, \quad b_i^+ = \text{ELU}(b_i) + 1
$$

#### 2.2.4 QMIX 训练目标

使用 **DRRN** 风格的 TD-error：

$$
\mathcal{L}(\boldsymbol{\theta}) = \mathbb{E}_{(s, \mathbf{a}, r, s') \sim \mathcal{D}} \left[ (r + \gamma \bar{Q}_{\mathrm{KL}}(s', \mathbf{a}'; \bar{\boldsymbol{\theta}}) - Q_{\mathrm{KL}}(s, \mathbf{a}; \boldsymbol{\theta}))^2 \right]
$$

其中 $\bar{Q}_{\mathrm{KL} = f_{\mathrm{KL}(\bar{Q}_1, \ldots, \bar{Q}_n; s')$ 为目标网络。

---

### 2.3 QTRAN：一般化值函数分解

#### 2.3.1 QTRAN 的动机

VDN 要求线性分解，QMIX 要求单调性约束，两者均为**结构化分解**。QTRAN (Sunehag et al., 2018) 追求**一般化分解**，无结构假设。

#### 2.3.2 约束优化框架

QTRAN 将值函数分解形式化为**约束优化**问题。

**定义 2.2（可分解值函数）** 若存在局部价值函数 $Q_i$ 使得：

$$
Q_{\mathrm{KL}}(s, \mathbf{a}) = \sum_i Q_i(s, a_i), \quad \forall (s, \mathbf{a})
$$

则称其为**可分解的**。

**定义 2.3（约束优化形式）** QTRAN 寻找满足以下约束的 $Q_i$：

1. **一致性约束（Consistency）**：

$$
\sum_i Q_i(s, a_i) = Q_{\mathrm{KL}}(s, \mathbf{a}), \quad \forall (s, \mathbf{a}) \in \mathcal{D}
$$

2. **最优性约束（Optimality）**：

$$
\sum_i Q_i(s, a_i^*) = \max_{\mathbf{a}} Q_{\mathrm{KL}}(s, \mathbf{a}), \quad \forall s
$$

其中 $a_i^* = \arg\max_{a_i} Q_i(s, a_i)$。

#### 2.3.3 惩罚项形式

将约束融入损失函数：

$$
\mathcal{L} = \underbrace{\sum_{s, \mathbf{a}} (r(s, \mathbf{a}) + \gamma \bar{V}(s') - \sum_i Q_i(s, a_i))^2}_{\mathrm{KL} + \lambda_1 \mathcal{L}_{\mathrm{KL}} + \lambda_2 \mathcal{L}_{\mathrm{KL}
$$

其中：

$$
\mathcal{L}_{\mathrm{KL}} = \sum_s \left( \sum_i Q_i(s, a_i^*) - \bar{Q}_{\mathrm{KL}}(s, \mathbf{a}^*) \right)^2
$$

$$
\mathcal{L}_{\mathrm{KL}} = \sum_{s, \mathbf{a} \neq \mathbf{a}^*} \left( \sum_i Q_i(s, a_i) - \bar{Q}_{\mathrm{KL}}(s, \mathbf{a}) \right)^2
$$

---

### 2.4 信用分配的数学描述

#### 2.4.1 基于优势函数的信用分配

**定义 2.4（多智能体优势函数）** 智能体 $i$ 在联合动作 $\mathbf{a}$ 相对于其边缘最优动作的优势：

$$
A_i(s, \mathbf{a}) = Q_{\mathrm{KL}}(s, \mathbf{a}) - V_{-i}(s, a_i)
$$

其中 $V_{-i}(s, a_i) = \mathbb{E}_{\mathbf{a}_{-i} \sim \pi_{-i}} [Q_{\mathrm{KL}}(s, a_i, \mathbf{a}_{-i})]$。

#### 2.4.2 团队游戏与竞争游戏的信用分配

**团队游戏（Team Game）**：$\mathcal{R}(s, \mathbf{a}) = r(s)$ 与动作无关。信用分配简化为：

$$
\phi_i(s, \mathbf{a}) = \mathbb{E}_{\pi} \left[ \frac{\partial \log \pi_i(a_i)}{\partial \theta_i} \cdot r(s) \right]
$$

**竞争游戏（Competitive Game）**：采用**极小极大**（Minimax）原则：

$$
\pi_i^* = \arg\max_{\pi_i} \min_{\pi_{-i}} \mathbb{E}[r_i(\pi_i, \pi_{-i})]
$$

---

## 3. 策略梯度方法

### 3.1 MADDPG：多智能体 DDPG

#### 3.1.1 中心化 Critic + 去中心化 Actor

MADDPG (Lowe et al., 2017) 的核心设计：**中心化 Critic** 访问全局状态，**去中心化 Actor** 仅基于局部观测。

**定义 3.1（中心化 Critic）** 智能体 $i$ 的 Critic $Q_i^\text{cen}$ 以全局状态-动作对 $(s, \mathbf{a})$ 为输入：

$$
Q_i^\text{cen}(s, \mathbf{a}; \phi_i) : \mathcal{S} \times \mathcal{A} \rightarrow \mathbb{R}
$$

**定义 3.2（去中心化 Actor）** 智能体 $i$ 的 Actor $\pi_i$ 以局部观测 $o_i$ 为输入：

$$
\pi_i(o_i; \theta_i) : \Omega_i \rightarrow \Delta(\mathcal{A}_i)
$$

#### 3.1.2 数学推导

**定理 3.1（MADDPG 策略梯度）** 智能体 $i$ 的策略梯度为：

$$
\nabla_{\theta_i} J(\theta_i) = \mathbb{E}_{s \sim \mathcal{D}, \mathbf{a} \sim \pi} \left[ \nabla_{\theta_i} \log \pi_i(a_i|o_i) \cdot \nabla_{a_i} Q_i^\text{cen}(s, \mathbf{a}) \Big|_{a_i = \pi_i(o_i)} \right]
$$

*证明*：策略梯度定理的多智能体推广。对 $J(\theta_i) = \mathbb{E}_{s_0 \sim \rho_0, a_0 \sim \pi} [Q_i^\text{cen}(s_0, \mathbf{a}_0)]$ 求导：

$$
\nabla_{\theta_i} J = \mathbb{E}_{s \sim d^{\pi}, \mathbf{a} \sim \pi} \left[ \nabla_{\theta_i} \log \pi_i(a_i|o_i) \cdot Q_i^\text{cen}(s, \mathbf{a}) \right]
$$

使用 Critic 的梯度 $\nabla_{a_i} Q_i^\text{cen}$ 作为优势函数的估计（类似 DDPG 的确定性策略梯度）。$\square$

#### 3.1.3 MADDPG 算法

**算法 1：MADDPG**

```
初始化：n个智能体的Actor网络 θ_i 和Critic网络 φ_i，目标网络参数 θ_i^-, φ_i^-
重放缓冲区 D

for episode do
    初始化环境，获得初始观测 o = (o_1, ..., o_n)
    for t = 1 to T do
        每个智能体i根据 π_i(o_i; θ_i) 选择动作 a_i
        执行联合动作 a = (a_1, ..., a_n)，获得奖励 r，环境转移到 s'
        存储 (s, a, r, s') 到 D
        s ← s'
    end for

    for 每个智能体 i do
        从 D 中采样批量 (s, a, r, s')
        // 更新 Critic
        y_i = r_i + γ Q_i'^cen(s', a'_1, ..., a'_n; φ_i^-)
        更新 φ_i 最小化 (y_i - Q_i^cen(s, a; φ_i))^2
        // 更新 Actor
        使用策略梯度 ∇_{θ_i} J 更新 θ_i
    end for

    更新目标网络：θ_i^- ← τ θ_i + (1-τ) θ_i^-，φ_i^- ← τ φ_i + (1-τ) φ_i^-
end for
```

#### 3.1.4 中心化 Critic 的设计考量

**输入设计**：Critic 接收完整的联合动作 $\mathbf{a} = (a_1, \ldots, a_n)$，这允许建模智能体间的交互。

**维度诅咒**：联合动作空间 $|\mathcal{A}| = \prod_i |\mathcal{A}_i|$ 随智能体数量指数增长。实践中需使用**参数共享**或**注意力机制**。

---

### 3.2 MAPPO：多智能体 PPO

#### 3.2.1 总体架构

MAPPO (Yu et al., 2022) 将 PPO 扩展到多智能体设置，沿用中心化 Critic + 去中心化 Actor 范式。

**定义 3.3（GAE for MARL）** 智能体 $i$ 的 $\lambda$-回报：

$$
\hat{G}_t^{i, \lambda} = (1 - \lambda) \sum_{l=0}^{\infty} (\gamma \lambda)^l r_{t+l} + (\gamma \lambda)^{L} V^{\pi_i}(s_{t+L})
$$

广义优势估计（GAE）可扩展到多智能体设置，每个智能体使用**相同的价值估计** $V(s_t)$（来自中心化 Critic）。

#### 3.2.2 CLIP 目标

$$
L^{\mathrm{KL}(\theta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right] \right)
$$

其中 $r_t(\theta) = \frac{\pi_i(a_i^t|o_i^t; \theta)}{\pi_i(a_i^t|o_i^t; \theta_{\mathrm{KL}})}$。

---

### 3.3 通信与信息共享

#### 3.3.1 通信协议建模

**定义 3.4（通信信道）** 智能体 $i$ 到 $j$ 的通信信道建模为：

$$
c_{ij}^t = h_i(o_i^t, a_i^{t-1}; \xi_i) + \epsilon_{ij}
$$

其中 $h_i$ 为通信网络，$\epsilon_{ij} \sim \mathcal{N}(0, \sigma^2)$ 为噪声。

#### 3.3.2 可微通信层

**CommNet** (Foerster et al., 2016) 使用连续通信：

$$
c_i^t = \frac{1}{n-1} \sum_{j \neq i} h_j(o_j^t, a_j^{t-1})
$$

$$
a_i^t = f_i(c_i^t, o_i^t)
$$

**BIC** (Hong et al., 2018) 引入**瓶颈层**强制通信压缩：

$$
c_i^t = \text{Bottleneck}(o_i^t) \in \mathbb{R}^k, \quad k \ll |\Omega_i|
$$

---

## 4. 均值场博弈

### 4.1 大量智能体的近似

#### 4.1.1 均值场近似的动机

当智能体数量 $n \rightarrow \infty$ 时，直接建模变得不可行。**均值场理论**通过近似邻居的平均效应来解决这个问题。

**定义 4.1（均值场）** 定义邻居平均动作：

$$
\bar{a}_i^t = \frac{1}{n-1} \sum_{j \neq i} a_j^t \approx \mathbb{E}_{j \sim \text{neigh}(i)} [a_j]
$$

#### 4.1.2 均值场博弈定义

**定义 4.2（均值场博弈，MFG）** 一个连续时间均值场博弈定义为：

- **状态演化**：

$$
\dot{x}_i(t) = f(x_i(t), a_i(t), \bar{a}(t)), \quad \bar{a}(t) = \mathbb{E}[a_j(t)]
$$

- **Hamilton-Jacobi-Bellman 方程**：

$$
0 = \frac{\partial V}{\partial t} + \max_{a_i} \left\{ r(x_i, a_i, \bar{a}) + \nabla_x V \cdot f(x_i, a_i, \bar{a}) \right\}
$$

- **Fokker-Planck 方程**（人口分布演化）：

$$
\frac{\partial \mu}{\partial t} + \nabla_a \cdot (\mu \cdot \bar{a}) = 0
$$

其中 $\mu$ 为状态分布。

### 4.2 离散时间均值场 Q 学习

#### 4.2.1 均值场 Q 函数

**定义 4.3（均值场 Q 函数）** 智能体 $i$ 的均值场 Q 函数：

$$
Q_i^{\mathrm{KL}}(s, a_i) \approx r(s, a_i, \bar{a}) + \gamma \mathbb{E}_{s' \sim P} \left[ V^{\mathrm{KL}}(s') \right]
$$

其中 $\bar{a} = \frac{1}{n} \sum_j a_j$ 为均值动作。

#### 4.2.2 均值场近似误差

**定理 4.1（均值场逼近误差）** 设 $n$ 个智能体的真实 Q 函数为 $Q_i^{(n)}(s, \mathbf{a})$，均值场近似为 $Q_i^{\mathrm{KL}}(s, a_i)$，则：

$$
|Q_i^{(n)}(s, \mathbf{a}) - Q_i^{\mathrm{KL}}(s, a_i)| \leq \frac{C}{\sqrt{n}}
$$

其中常数 $C$ 依赖于奖励函数的 Lipschitz 常数。

*证明思路*：使用 McDiarmid 不等式和 Stein 方法，可证明均值场近似的 $O(1/\sqrt{n})$ 收敛率。$\square$

#### 4.2.3 MFQ 算法

**算法 2：Mean Field Q-Learning**

```
初始化：Q网络，μ网络（均值场估计）
for episode do
    初始化均值场估计 μ(s)

    for t = 1 to T do
        每个智能体i基于 Q_i(s, ·) 和 μ(s) 选择动作 a_i^t

        执行联合动作，获得奖励 r_t^i 和下一状态 s_{t+1}
        更新均值场估计：μ_{t+1}(s) ← α μ_t(s) + (1-α) \bar{a}_t

        // 更新 Q 函数
        y_i = r_i(s, a_i, μ(s)) + γ V_i(s', μ(s'))
        更新 Q_i 通过 TD: (y_i - Q_i(s, a_i))^2
    end for
end for
```

### 4.3 均值场博弈与图神经网络

#### 4.3.1 图卷积近似

**定义 4.4（图卷积均值场）** 在图结构数据上定义：

$$
\bar{a}_i = \frac{1}{\sqrt{d_i d_j}} \sum_{j \in \mathcal{N}_i} W_{ij} \cdot a_j
$$

其中 $W_{ij}$ 为邻接矩阵元素，$d_i$ 为节点度数。

#### 4.3.2 Graph Mean Field Q-Learning

**算法 3：Graph Mean Field Q-Learning**

```
对于每个图卷积层 l：
    对每个节点 i：
        聚合邻居消息：m_j^l = ReLU(W^l · h_j^{l-1})
        消息聚合：h_i^l = σ(W^l · [h_i^{l-1}, ∑_{j∈N_i} m_j^l]))
    更新均值场：μ_i^l = Mean({h_j^l : j ∈ N_i})
```

---

## 5. 通信与协作

### 5.1 通信协议学习

#### 5.1.1 CommNet 架构

**定义 5.1（CommNet 通信层）** 第 $t$ 步的通信状态：

$$
c_i^t = \frac{1}{n-1} \sum_{j \neq i} \tanh(W \cdot h_j^{t-1} + b)
$$

$$
h_i^t = \tanh(U \cdot h_i^{t-1} + V \cdot c_i^t + b)
$$

其中 $h_i^t$ 为智能体 $i$ 的隐状态。

#### 5.1.2 Binary Communication (BIC)

**定义 5.2（瓶颈通信）** 使用自编码器结构强制信息压缩：

$$
\text{Encoder}: z_i = \text{Enc}(o_i, a_i^{t-1}) \in \mathbb{R}^k
$$

$$
\text{Decoder}: \hat{o}_i = \text{Dec}(z_i)
$$

$$
\text{BIC Loss} = \|o_i - \hat{o}_i\|^2 + \beta \|z_i\|^2
$$

#### 5.1.3 延迟通信建模

**定义 5.3（延迟通信信道）** 第 $i$ 个智能体在时刻 $t$ 接收到的消息：

$$
\tilde{c}_i^t = \sum_{\tau=0}^{L} \alpha_\tau c_i^{t-\tau}
$$

其中 $L$ 为最大延迟步数，$\alpha_\tau$ 为衰减系数。

### 5.2 协作激励机制

#### 5.2.1 内在奖励设计

**定义 5.4（内在动机）** 智能体 $i$ 的内在奖励：

$$
r_i^{\mathrm{KL} = r_i^{\mathrm{KL} + \beta \cdot \text{ICI}(i, \text{neighbors})
$$

其中 $\text{ICI}$（Intrinsic Curiosity Incentive）为：

$$
\text{ICI}_i = \| \hat{s}_{i}^{t+1} - s_{i}^{t+1} \|^2
$$

#### 5.2.2 teamGym 评估框架

**定义 5.5（团队奖励分解）** 在团队任务中：

$$
r^{\mathrm{KL} = \sum_i r_i^{\mathrm{KL} + \lambda \cdot \text{IGM}(s)
$$

其中 $\text{IGM}$（Individual Global Maxim）衡量因子化策略与联合最优的一致性。

---

## 6. 对抗多智能体

### 6.1 零和博弈中的多智能体

#### 6.1.1 极小极大 Q 学习

**定义 6.1（极小极大 Q 函数）** 对抗设置下智能体 $i$ 的 Q 函数：

$$
Q_i(s, \mathbf{a}) = \min_{\pi_{-i}} \max_{\pi_i} \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \gamma^t r_i(s_t, \mathbf{a}_t) \right]
$$

#### 6.1.2 双人零和博弈的收敛性

**定理 6.1（极小极大定理）** 双人零和博弈存在**纳什均衡** $\sigma^*$，满足：

$$
\max_{\sigma_1} \min_{\sigma_2} u_1(\sigma_1, \sigma_2) = \min_{\sigma_2} \max_{\sigma_1} u_1(\sigma_1, \sigma_2) = u_1(\sigma^*)
$$

### 6.2 对抗性 RL

#### 6.2.1 对抗扰动攻击

**定义 6.2（对抗状态扰动）** 对手通过添加扰动 $\delta$ 修改观测：

$$
\tilde{o}_i = o_i + \delta, \quad \|\delta\| \leq \epsilon
$$

**定义 6.3（鲁棒策略）** 策略 $\pi_i$ 对抗 $\epsilon$-有界扰动的鲁棒性：

$$
\pi_i^{\mathrm{KL} = \arg\min_{\pi_i} \max_{\|\delta\| \leq \epsilon} \mathcal{L}(\pi_i, \tilde{o}_i)
$$

#### 6.2.2 PGD 对抗训练

**算法 4：MADDPG + PGD 对抗训练**

```
for episode do
    for 内部步 k = 1 to K do
        生成对抗扰动 δ：
        δ ← clip(δ + α · sign(∇_δ L(π, o + δ)), -ε, ε)
    end for

    执行带扰动的联合动作 (a_1 + δ_1, ..., a_n + δ_n)
    使用 MADDPG 更新策略
end for
```

### 6.3 稳健多智能体策略

#### 6.3.1 分布鲁棒优化

**定义 6.4（分布鲁棒均衡）** 在分布不确定集 $\mathcal{P}$ 上优化：

$$
\max_{\pi_i} \min_{\mathbb{P} \in \mathcal{P}} \mathbb{E}_{\mathbb{P}} [V^{\pi_i}(\mathbb{P})]
$$

其中 $\mathcal{P}$ 可建模为 $\epsilon$-邻域的 KL 球：

$$
\mathcal{P} = \{ \mathbb{P} : D_{\mathrm{KL}}(\mathbb{P} \| \mathbb{P}_0) \leq \epsilon \}
$$

---

## 7. 收敛性与理论

### 7.1 Marlin 算法的收敛性分析

#### 7.1.1 Marlin 算法框架

Marlin (Schuurmans et al., 2023) 将多智能体值函数分解与策略迭代结合。

**定理 7.1（Marlin 收敛性）** 在满足以下条件时，Marlin 算法收敛至纳什均衡：

1. **单调性**：值函数估计单调递增
2. **有界性**：$\|Q_i\| \leq B, \forall i$
3. **探索充分性**：每个智能体以概率 $p > 0$ 探索所有动作

*证明*：将 Marlin 视为近似的策略迭代过程。使用压缩映射定理，每次迭代的误差上界：

$$
\|Q^{k+1} - Q^*\| \leq \gamma \|Q^k - Q^*\| + \epsilon_{\mathrm{KL}
$$

其中 $\epsilon_{\mathrm{KL}}$ 为分解近似的误差。递归展开：

$$
\|Q^k - Q^*\| \leq \gamma^k \|Q^0 - Q^*\| + \frac{\epsilon_{\mathrm{KL}}{1-\gamma}
$$

当 $k \to \infty$，$\gamma^k \|Q^0 - Q^*\| \to 0$，故收敛到 $Q^*$ 的 $\frac{\epsilon_{\mathrm{KL}}{1-\gamma}$ 邻域。$\square$

### 7.2 多智能体信用分配的收敛界

#### 7.2.1 有限样本界

**定理 7.2（信用分配有限样本界）** 设使用 Shapley 值进行信用分配，基于 $m$ 个样本估计，则以概率 $1-\delta$：

$$
|\hat{\phi}_i - \phi_i| \leq \frac{C \sqrt{\ln(1/\delta)}}{\sqrt{m}}
$$

*证明*：Shapley 值是 $n!$ 个排列的均值。使用 Hoeffding 不等式和 Union Bound 可得上式。$\square$

#### 7.2.2 偏差-方差 tradeoff

**定义 7.1（信用分配偏差）** 近似 Shapley 值与真实 Shapley 值的偏差：

$$
\text{Bias}(\hat{\phi}_i) = |\mathbb{E}[\hat{\phi}_i] - \phi_i|
$$

**定义 7.2（信用分配方差）** 估计的方差：

$$
\text{Var}(\hat{\phi}_i) = \mathbb{E}[(\hat{\phi}_i - \mathbb{E}[\hat{\phi}_i])^2]
$$

### 7.3 无中心化 Critic 时的稳定性

#### 7.3.1 独立 Q 学习的发散性

**定理 7.3（独立 Q 学习的非收敛性）** 在一般和博弈中，独立 Q 学习（IQL）**不保证**收敛到纳什均衡。

*反例*：考虑两人协调博弈：

|       | $a_2^L$ | $a_2^R$ |
|-------|---------|---------|
| $a_1^L$ | 1, 1   | 0, 0   |
| $a_1^R$ | 0, 0   | 1, 1   |

IQL 可能收敛到 $(a_1^L, a_2^R)$ 或 $(a_1^R, a_2^L)$，而非帕累托最优的 $(L, L)$ 或 $(R, R)$。

#### 7.3.2 稳定化技术

**纳什 Q 学习** (Nash Q-Learning)：

$$
Q_i^{t+1}(s, \mathbf{a}) = (1-\alpha) Q_i^t(s, \mathbf{a}) + \alpha [r_i(s, \mathbf{a}) + \gamma \text{NashQ}_i(s')]
$$

其中 $\text{NashQ}_i(s') = \min_{\pi_{-i}} \max_{\pi_i} \sum_{\mathbf{a}'} \pi_i(a_i') Q_i(s', \mathbf{a}')$。

#### 7.3.3 乐观/悲观策略

**定义 7.3（乐观策略）** 假设其他智能体会配合：

$$
\pi_i^{\mathrm{KL} = \arg\max_{\pi_i} \max_{\pi_{-i}} \mathbb{E}[r_i(\pi_i, \pi_{-i})]
$$

**定义 7.4（悲观策略）** 假设其他智能体会对抗：

$$
\pi_i^{\mathrm{KL} = \arg\max_{\pi_i} \min_{\pi_{-i}} \mathbb{E}[r_i(\pi_i, \pi_{-i})]
$$

---

## 8. 总结与前沿方向

### 8.1 方法对比

| 方法 | 分解结构 | 通信需求 | 收敛保证 | 适用范围 |
|------|----------|----------|----------|----------|
| VDN | 线性加和 | 无 | 仅团队游戏 | 小规模协作 |
| QMIX | 单调混合 | 无 | 仅团队游戏 | 中等规模协作 |
| QTRAN | 一般分解 | 无 | 部分 | 一般和博弈 |
| MADDPG | 中心化 Critic | 可选 | 无 | 协作/竞争 |
| MAPPO | 中心化 Critic | 可选 | 无 | 协作/竞争 |
| MFQ | 均值场近似 | 无 | $O(1/\sqrt{n})$ | 大规模系统 |

### 8.2 前沿研究方向

1. **鲁棒 MARL**：对抗扰动下的稳健策略学习
2. **通信可信性**：可验证的通信协议
3. **层次化 MARL**：多尺度协作与竞争
4. **离线 MARL**：基于历史数据的多智能体策略学习
5. **元 MARL**：快速适应新任务的多智能体系统

---

## 参考文献

1. Zhang, K., Yang, Z., & Başar, T. (2021). Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms. *Handbook of RL for Control systems*.
2. Oliehoek, F. A., & Amato, C. (2016). *A Concise Introduction to Decentralized POMDPs*. Springer.
3. Sunehag, P., et al. (2017). Value Decomposition Networks. *AAAI*.
4. Rashid, T., et al. (2018). QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent RL. *ICML*.
5. Lowe, R., et al. (2017). Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. *NeurIPS*.
6. Yang, Y., et al. (2020). Mean Field Multi-Agent Reinforcement Learning. *ICML*.
7. Foerster, J., et al. (2016). Learning to Communicate with Deep Multi-Agent Reinforcement Learning. *NeurIPS*.
8. Schuurmans, D., et al. (2023). Marlin: A Theoretical Framework for Multi-Agent RL. *arXiv*.