Notes/机器学习/深度学习模型/08-强化学习/3-多智能体与离线RL/2-多智能体RL.md

title, tags

title	tags
05-多智能体强化学习	多智能体 强化学习 博弈论 深度强化学习

多智能体强化学习

本章作者：多智能体强化学习课题组 更新日期：2026-05-14 参考资料：MARL 综述 (Zhang et al., 2021), Dec-POMDP (Oliehoek & Amato, 2016)

---

1. 多智能体强化学习基础

1.1 博弈论基础

1.1.1 正常形博弈（Normal-Form Game）

定义 1.1（正常形博弈） 一个 n 智能体的正常形博弈定义为元组：

\mathcal{G} = \langle \mathcal{N}, \mathcal{A}, \mathcal{R} \rangle

其中：

• \mathcal{N} = \{1, 2, \ldots, n\} 为智能体集合
• \mathcal{A} = \mathcal{A}_1 \times \mathcal{A}_2 \times \cdots \times \mathcal{A}_n 为联合动作空间，\mathcal{A}_i 为智能体 i 的动作空间
• \mathcal{R} = (r_1, r_2, \ldots, r_n) 为收益函数向量，其中 r_i: \mathcal{A} \rightarrow \mathbb{R}

定义 1.2（策略与混合策略） 智能体 i 的纯策略是 \mathcal{A}_i 中的一个动作 $a_i$。混合策略是定义在 \mathcal{A}_i 上的概率分布：

\sigma_i(a_i) \geq 0, \quad \sum_{a_i \in \mathcal{A}_i} \sigma_i(a_i) = 1

联合混合策略为 $\boldsymbol{\sigma} = (\sigma_1, \ldots, \sigma_n)$，在不至于混淆时简记为 $\sigma$。

1.1.2 扩展形博弈（Extensive-Form Game）

定义 1.3（扩展形博弈） 一个有限完美信息扩展形博弈定义为元组：

\mathcal{G} = \langle \mathcal{N}, \mathcal{H}, \mathcal{A}, \mathcal{Z}, \mathcal{R}, \rho \rangle

其中：

• \mathcal{H} 为历史节点集合（根节点为空序列 $\varnothing$）
• \mathcal{A} 为动作集合
• \mathcal{Z} \subseteq \mathcal{H} 为终止节点集合
• \rho: \mathcal{H} \setminus \mathcal{Z} \rightarrow \mathcal{N} 为将每个决策节点分配给某智能体的函数
• \mathcal{R}: \mathcal{Z} \rightarrow \mathbb{R}^n 为终端收益函数

对于不完美信息博弈，引入信息集合（Information Set）的概念：

定义 1.4（信息集合） 智能体 i 的信息集合 \mathcal{I}_i 是其决策节点的集合，满足：玩家在 \mathcal{I}_i 中任意节点上观察到相同的可用信息。

1.1.3 纳什均衡（Nash Equilibrium）

定义 1.5（纳什均衡） 混合策略组合 \sigma^* 构成纯策略纳什均衡当且仅当对每个智能体 $i$：

a_i^* \in \arg\max_{a_i \in \mathcal{A}_i} r_i(a_i, \sigma_{-i}^*)

定理 1.1（纳什存在性，Nash 1950） 任意有限正常形博弈至少存在一个混合策略纳什均衡。

证明思路：将混合策略空间视为 \Delta(\mathcal{A}_i) 的笛卡尔积（紧凸集），定义最佳响应映射 $BR(\sigma_{-i}) = \arg\max_{\sigma_i} u_i(\sigma_i, \sigma_{-i})$。该映射为上半连续、凸值的 Kakutani 不动点定理适用，故存在不动点即纳什均衡。 \square

1.1.4 零和博弈与一般和博弈

定义 1.6（零和博弈） 若博弈 \mathcal{G} 满足 $\sum_{i \in \mathcal{N}} r_i(\mathbf{a}) = 0, \forall \mathbf{a} \in \mathcal{A}$，则称为零和博弈。此时可简记收益为 $r_1(\mathbf{a}) = -r_2(\mathbf{a})$（二人博弈）。

定义 1.7（一般和博弈） 若博弈不满足零和条件，则为一般和博弈。一般和博弈的纳什均衡可能帕累托次优（Pareto Suboptimal）。

---

1.2 Dec-POMDP 形式化

定义 1.8（Dec-POMDP） Decentralized Partially Observable Markov Decision Process 定义为元组：

\mathcal{M} = \langle \mathcal{N}, \mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \Omega, \mathcal{O}, \gamma, T \rangle

其中：

• $\mathcal{N} = {1, 2, \ldots, n}$：智能体数量
• $\mathcal{S}$：状态空间（全局状态）
• $\mathcal{A} = \prod_{i=1}^n \mathcal{A}_i$：联合动作空间，\mathcal{A}_i 为智能体 i 的动作空间
• $\mathcal{P}: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \rightarrow [0, 1]$：状态转移概率，P(s'|s, \mathbf{a})
• $\mathcal{R}: \mathcal{S} \times \mathcal{A} \rightarrow \mathbb{R}$：联合奖励函数
• $\Omega$：观测空间，\Omega = \prod_{i=1}^n \Omega_i
• $\mathcal{O}: \mathcal{S} \times \Omega \rightarrow [0,1]$：观测函数，O(o|s) 表示在状态 s 下产生观测 o 的概率
• $\gamma \in [0, 1)$：折扣因子
• $T$：规划时域（有限时域 MDP 可设 T 为有限值）

关键约束：各智能体只能基于局部观测历史做出决策，无法直接访问全局状态 s 或其他智能体的观测/动作。

1.2.1 联合策略与历史

定义 1.9（个体策略） 智能体 i 的随机策略定义为：

\pi_i: \mathcal{H}_i \rightarrow \Delta(\mathcal{A}_i)

其中 \mathcal{H}_i 为智能体 i 的观测历史空间，\Delta(\mathcal{A}_i) 为动作空间上的概率分布。

定义 1.10（联合策略） 联合策略为 $\boldsymbol{\pi} = (\pi_1, \ldots, \pi_n)$。

定义 1.11（联合历史策略） 联合历史 \mathbf{h}_t = (h_t^1, \ldots, h_t^n) 下的动作分布为：

\boldsymbol{\pi}(\mathbf{a}_t | \mathbf{h}_t) = \prod_{i=1}^n \pi_i(a_t^i | h_t^i)

1.2.2 联合价值函数

定义 1.12（状态-动作价值函数） 给定联合策略 $\boldsymbol{\pi}$，定义状态-动作价值函数：

Q^{\boldsymbol{\pi}}(s, \mathbf{a}) = \mathbb{E}_{s' \sim P, \mathbf{a}' \sim \boldsymbol{\pi}} \left[ \sum_{t=0}^{\infty} \gamma^t r(s_t, \mathbf{a}_t) \Big| s_0 = s, \mathbf{a}_0 = \mathbf{a} \right]

定义 1.13（值函数） 状态值函数：

V^{\boldsymbol{\pi}}(s) = \mathbb{E}_{\mathbf{a} \sim \boldsymbol{\pi}(\cdot|s)} [ Q^{\boldsymbol{\pi}}(s, \mathbf{a}) ] = \sum_{\mathbf{a}} \boldsymbol{\pi}(\mathbf{a}|s) Q^{\boldsymbol{\pi}}(s, \mathbf{a})

定理 1.2（Bellman 方程） 联合价值函数满足：

Q^{\boldsymbol{\pi}}(s, \mathbf{a}) = \mathcal{R}(s, \mathbf{a}) + \gamma \sum_{s'} P(s'|s, \mathbf{a}) V^{\boldsymbol{\pi}}(s')

V^{\boldsymbol{\pi}}(s) = \sum_{\mathbf{a}} \boldsymbol{\pi}(\mathbf{a}|s) \left[ \mathcal{R}(s, \mathbf{a}) + \gamma \sum_{s'} P(s'|s, \mathbf{a}) V^{\boldsymbol{\pi}}(s') \right]

1.2.3 有限时域与折扣形式

有限时域（Horizon $T$）：

J^{\boldsymbol{\pi}}(\mathcal{M}) = \mathbb{E} \left[ \sum_{t=0}^{T-1} \gamma^t r(s_t, \mathbf{a}_t) \right]

折扣形式（Discounted）：

J^{\boldsymbol{\pi}}(\mathcal{M}) = \mathbb{E} \left[ \sum_{t=0}^{\infty} \gamma^t r(s_t, \mathbf{a}_t) \right]

两类目标函数在理论上具有等价性：可通过拉格朗日乘子法相互转换。

---

1.3 信用分配问题

1.3.1 问题的数学描述

在多智能体系统中，联合奖励 r(s, \mathbf{a}) 是所有智能体动作的函数。当团队获得一个高（低）奖励时，如何确定每个智能体对此的贡献？

定义 1.14（信用分配） 给定联合奖励 $r_t = r(s_t, \mathbf{a}_t)$，信用分配问题旨在为每个智能体 i 分配信用值 $c_t^i$，使得：

\sum_{i=1}^n c_t^i = r_t, \quad \forall t

且 c_t^i 反映了智能体 i 对联合奖励的因果贡献。

1.3.2 Shapley 值方法

定义 1.15（Shapley 信用分配） 智能体 i 的 Shapley 值为：

\phi_i(r, \mathcal{N}) = \sum_{\mathcal{S} \subseteq \mathcal{N} \setminus \{i\}} \frac{|\mathcal{S}|! (n - |\mathcal{S}| - 1)!}{n!} \left[ r(\mathcal{S} \cup \{i\}) - r(\mathcal{S}) \right]

其中 r(\mathcal{S}) 为子集 \mathcal{S} 中智能体单独工作时的奖励贡献。

Shapley 值满足：

1. 效率性：\sum_i \phi_i = r(\mathcal{N})
2. 对称性：对称智能体具有相同信用
3. 可加性：r = r_1 + r_2 \Rightarrow \phi(r) = \phi(r_1) + \phi(r_2)
4. 虚拟性：空集贡献为零

1.3.3 反事实梯度估计

定义 1.16（反事实信用分配） 智能体 i 的反事实优势：

A_i(s, \mathbf{a}) = Q(s, \mathbf{a}) - \mathbb{E}_{a_i' \sim \pi_i(\cdot|s)} [Q(s, (a_i', \mathbf{a}_{-i}))]

定理 1.3（Counterfactual Multi-Agent Policy Gradient） 智能体 i 的策略梯度：

\nabla_{\theta_i} J \approx \mathbb{E}_{s \sim d^{\pi}, \mathbf{a} \sim \pi} \left[ \nabla_{\theta_i} \log \pi_i(a_i|s) \cdot A_i(s, \mathbf{a}) \right]

---

2. 值函数分解方法

2.1 VDN：值分解网络

2.1.1 核心思想

VDN (Sunehag et al., 2017) 假设联合价值函数可分解为各智能体价值函数的线性求和：

Q_{\mathrm{KL}^{\boldsymbol{\pi}}(s, \mathbf{a}) = \sum_{i=1}^n Q_i^{\pi_i}(s, a_i)

2.1.2 数学推导

定理 2.1（VDN 分解条件） 若存在分解使得 $Q_{\mathrm{KL} = \sum_i Q_i$，则在 $\gamma$-折扣无限时域下，最优联合策略 \boldsymbol{\pi}^* 可通过独立优化每个 Q_i 获得。

证明：设 $\boldsymbol{\pi}^* = \arg\max_{\boldsymbol{\pi}} V^{\boldsymbol{\pi}}(s)$。对任意 $s$：

V^{\boldsymbol{\pi}^*}(s) = \max_{\boldsymbol{\pi}} \sum_{\mathbf{a}} \boldsymbol{\pi}(\mathbf{a}|s) Q_{\mathrm{KL}}(s, \mathbf{a})

代入分解假设：

= \max_{\boldsymbol{\pi}} \sum_{\mathbf{a}} \prod_i \pi_i(a_i|s) \sum_i Q_i(s, a_i) = \max_{\boldsymbol{\pi}} \sum_i \sum_{a_i} \pi_i(a_i|s) Q_i(s, a_i)

由于求和可分离，最优解为 $\pi_i^*(\cdot|s) = \delta(a_i = \arg\max_{a_i'} Q_i(s, a_i'))$，即独立优化各智能体。\square

2.1.3 VDN 网络结构

VDN 采用相加结构：

Q_{\mathrm{KL}}(s, \mathbf{a}; \boldsymbol{\theta}) = \sum_{i=1}^n f_i(s, a_i; \theta_i)

其中每个 f_i 为智能体 i 的局部 Q 网络，参数 \theta_i 独立。

训练目标（TD-error）：

\mathcal{L}(\boldsymbol{\theta}) = \mathbb{E}_{s, \mathbf{a}, r, s'} \left[ (y - Q_{\mathrm{KL}}(s, \mathbf{a}; \boldsymbol{\theta}))^2 \right]

其中 $y = r + \gamma \sum_i Q_i(s', a_i'; \boldsymbol{\theta}^-)$。

2.1.4 VDN 的局限性

VDN 的线性加和结构具有表达力不足的问题：无法建模智能体间的非线性交互。例如：

Q(s, a_1, a_2) = \mathbb{1}_{a_1 = a_2} - \mathbb{1}_{a_1 \neq a_2}

此函数不可分解为 Q_1(a_1) + Q_2(a_2) 的形式。

---

2.2 QMIX：单调性约束分解

2.2.1 问题设定

QMIX (Rashid et al., 2018) 引入混合网络（Mixing Network）以建模非线性分解：

Q_{\mathrm{KL}}(s, \mathbf{a}) = f_{\mathrm{KL}}(Q_1(s, a_1), \ldots, Q_n(s, a_n); s)

其中 f_{\mathrm{KL}} 为非线性混合网络，以全局状态 s 为条件。

2.2.2 单调性约束

定义 2.1（单调性约束） 为保证因子化最优策略（Factorized Optimal Policy），混合网络需满足：

\frac{\partial f_{\mathrm{KL}}{\partial Q_i} \geq 0, \quad \forall i

即 f_{\mathrm{KL}} 对每个 Q_i 非递减。

定理 2.2（QMIX 因子化最优性） 在单调性约束下，全局最优动作可通过独立贪婪各智能体获得：

\arg\max_{\mathbf{a}} Q_{\mathrm{KL}}(s, \mathbf{a}) = \left( \arg\max_{a_1} Q_1(s, a_1), \ldots, \arg\max_{a_n} Q_n(s, a_n) \right)

证明：设 $\mathbf{a}^* = \arg\max_{\mathbf{a}} f_{\mathrm{KL}}(Q_1(s, a_1), \ldots, Q_n(s, a_n))$。由于 $\partial f_{\mathrm{KL} / \partial Q_i \geq 0$，f_{\mathrm{KL}} 对每个 Q_i 非递减。因此，增大任意 Q_i 不会降低 $Q_{\mathrm{KL}}$。故：

a_i^* \in \arg\max_{a_i} Q_i(s, a_i) \Rightarrow \mathbf{a}^* = (a_1^*, \ldots, a_n^*)

\square

2.2.3 混合网络结构

混合网络采用超参数网络（Hypernetwork）结构生成线性层的权重和偏置：

f_{\mathrm{KL}}(Q_1, \ldots, Q_n; s) = \mathbf{h}^\top \mathbf{v} + b

其中 $\mathbf{h} = \text{MLP}([Q_1, \ldots, Q_n])$，\mathbf{v}, b 由 \text{HyperNet}(s) 生成。

单调性实现：使用绝对值激活确保权重非负：

W_i^+ = |W_i|, \quad b_i^+ = \text{ELU}(b_i) + 1

2.2.4 QMIX 训练目标

使用 DRRN 风格的 TD-error：

\mathcal{L}(\boldsymbol{\theta}) = \mathbb{E}_{(s, \mathbf{a}, r, s') \sim \mathcal{D}} \left[ (r + \gamma \bar{Q}_{\mathrm{KL}}(s', \mathbf{a}'; \bar{\boldsymbol{\theta}}) - Q_{\mathrm{KL}}(s, \mathbf{a}; \boldsymbol{\theta}))^2 \right]

其中 $\bar{Q}{\mathrm{KL} = f{\mathrm{KL}(\bar{Q}_1, \ldots, \bar{Q}_n; s')$ 为目标网络。

---

2.3 QTRAN：一般化值函数分解

2.3.1 QTRAN 的动机

VDN 要求线性分解，QMIX 要求单调性约束，两者均为结构化分解。QTRAN (Sunehag et al., 2018) 追求一般化分解，无结构假设。

2.3.2 约束优化框架

QTRAN 将值函数分解形式化为约束优化问题。

定义 2.2（可分解值函数） 若存在局部价值函数 Q_i 使得：

Q_{\mathrm{KL}}(s, \mathbf{a}) = \sum_i Q_i(s, a_i), \quad \forall (s, \mathbf{a})

则称其为可分解的。

定义 2.3（约束优化形式） QTRAN 寻找满足以下约束的 $Q_i$：

1. 一致性约束（Consistency）：

\sum_i Q_i(s, a_i) = Q_{\mathrm{KL}}(s, \mathbf{a}), \quad \forall (s, \mathbf{a}) \in \mathcal{D}

2. 最优性约束（Optimality）：

\sum_i Q_i(s, a_i^*) = \max_{\mathbf{a}} Q_{\mathrm{KL}}(s, \mathbf{a}), \quad \forall s

其中 $a_i^* = \arg\max_{a_i} Q_i(s, a_i)$。

2.3.3 惩罚项形式

将约束融入损失函数：

\mathcal{L} = \underbrace{\sum_{s, \mathbf{a}} (r(s, \mathbf{a}) + \gamma \bar{V}(s') - \sum_i Q_i(s, a_i))^2}_{\mathrm{KL} + \lambda_1 \mathcal{L}_{\mathrm{KL}} + \lambda_2 \mathcal{L}_{\mathrm{KL}

其中：

\mathcal{L}_{\mathrm{KL}} = \sum_s \left( \sum_i Q_i(s, a_i^*) - \bar{Q}_{\mathrm{KL}}(s, \mathbf{a}^*) \right)^2

\mathcal{L}_{\mathrm{KL}} = \sum_{s, \mathbf{a} \neq \mathbf{a}^*} \left( \sum_i Q_i(s, a_i) - \bar{Q}_{\mathrm{KL}}(s, \mathbf{a}) \right)^2

---

2.4 信用分配的数学描述

2.4.1 基于优势函数的信用分配

定义 2.4（多智能体优势函数） 智能体 i 在联合动作 \mathbf{a} 相对于其边缘最优动作的优势：

A_i(s, \mathbf{a}) = Q_{\mathrm{KL}}(s, \mathbf{a}) - V_{-i}(s, a_i)

其中 $V_{-i}(s, a_i) = \mathbb{E}{\mathbf{a}{-i} \sim \pi_{-i}} [Q_{\mathrm{KL}}(s, a_i, \mathbf{a}_{-i})]$。

2.4.2 团队游戏与竞争游戏的信用分配

团队游戏（Team Game）：\mathcal{R}(s, \mathbf{a}) = r(s) 与动作无关。信用分配简化为：

\phi_i(s, \mathbf{a}) = \mathbb{E}_{\pi} \left[ \frac{\partial \log \pi_i(a_i)}{\partial \theta_i} \cdot r(s) \right]

竞争游戏（Competitive Game）：采用极小极大（Minimax）原则：

\pi_i^* = \arg\max_{\pi_i} \min_{\pi_{-i}} \mathbb{E}[r_i(\pi_i, \pi_{-i})]

---

3. 策略梯度方法

3.1 MADDPG：多智能体 DDPG

3.1.1 中心化 Critic + 去中心化 Actor

MADDPG (Lowe et al., 2017) 的核心设计：中心化 Critic 访问全局状态，去中心化 Actor 仅基于局部观测。

定义 3.1（中心化 Critic） 智能体 i 的 Critic Q_i^\text{cen} 以全局状态-动作对 (s, \mathbf{a}) 为输入：

Q_i^\text{cen}(s, \mathbf{a}; \phi_i) : \mathcal{S} \times \mathcal{A} \rightarrow \mathbb{R}

定义 3.2（去中心化 Actor） 智能体 i 的 Actor \pi_i 以局部观测 o_i 为输入：

\pi_i(o_i; \theta_i) : \Omega_i \rightarrow \Delta(\mathcal{A}_i)

3.1.2 数学推导

定理 3.1（MADDPG 策略梯度） 智能体 i 的策略梯度为：

\nabla_{\theta_i} J(\theta_i) = \mathbb{E}_{s \sim \mathcal{D}, \mathbf{a} \sim \pi} \left[ \nabla_{\theta_i} \log \pi_i(a_i|o_i) \cdot \nabla_{a_i} Q_i^\text{cen}(s, \mathbf{a}) \Big|_{a_i = \pi_i(o_i)} \right]

证明：策略梯度定理的多智能体推广。对 J(\theta_i) = \mathbb{E}_{s_0 \sim \rho_0, a_0 \sim \pi} [Q_i^\text{cen}(s_0, \mathbf{a}_0)] 求导：

\nabla_{\theta_i} J = \mathbb{E}_{s \sim d^{\pi}, \mathbf{a} \sim \pi} \left[ \nabla_{\theta_i} \log \pi_i(a_i|o_i) \cdot Q_i^\text{cen}(s, \mathbf{a}) \right]

使用 Critic 的梯度 \nabla_{a_i} Q_i^\text{cen} 作为优势函数的估计（类似 DDPG 的确定性策略梯度）。\square

3.1.3 MADDPG 算法

算法 1：MADDPG

初始化：n个智能体的Actor网络 θ_i 和Critic网络 φ_i，目标网络参数 θ_i^-, φ_i^-
重放缓冲区 D

for episode do
    初始化环境，获得初始观测 o = (o_1, ..., o_n)
    for t = 1 to T do
        每个智能体i根据 π_i(o_i; θ_i) 选择动作 a_i
        执行联合动作 a = (a_1, ..., a_n)，获得奖励 r，环境转移到 s'
        存储 (s, a, r, s') 到 D
        s ← s'
    end for

    for 每个智能体 i do
        从 D 中采样批量 (s, a, r, s')
        // 更新 Critic
        y_i = r_i + γ Q_i'^cen(s', a'_1, ..., a'_n; φ_i^-)
        更新 φ_i 最小化 (y_i - Q_i^cen(s, a; φ_i))^2
        // 更新 Actor
        使用策略梯度 ∇_{θ_i} J 更新 θ_i
    end for

    更新目标网络：θ_i^- ← τ θ_i + (1-τ) θ_i^-，φ_i^- ← τ φ_i + (1-τ) φ_i^-
end for

3.1.4 中心化 Critic 的设计考量

输入设计：Critic 接收完整的联合动作 $\mathbf{a} = (a_1, \ldots, a_n)$，这允许建模智能体间的交互。

维度诅咒：联合动作空间 |\mathcal{A}| = \prod_i |\mathcal{A}_i| 随智能体数量指数增长。实践中需使用参数共享或注意力机制。

---

3.2 MAPPO：多智能体 PPO

3.2.1 总体架构

MAPPO (Yu et al., 2022) 将 PPO 扩展到多智能体设置，沿用中心化 Critic + 去中心化 Actor 范式。

定义 3.3（GAE for MARL） 智能体 i 的 $\lambda$-回报：

\hat{G}_t^{i, \lambda} = (1 - \lambda) \sum_{l=0}^{\infty} (\gamma \lambda)^l r_{t+l} + (\gamma \lambda)^{L} V^{\pi_i}(s_{t+L})

广义优势估计（GAE）可扩展到多智能体设置，每个智能体使用相同的价值估计 $V(s_t)$（来自中心化 Critic）。

3.2.2 CLIP 目标

L^{\mathrm{KL}(\theta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t \right] \right)

其中 $r_t(\theta) = \frac{\pi_i(a_i^t|o_i^t; \theta)}{\pi_i(a_i^t|o_i^t; \theta_{\mathrm{KL}})}$。

---

3.3 通信与信息共享

3.3.1 通信协议建模

定义 3.4（通信信道） 智能体 i 到 j 的通信信道建模为：

c_{ij}^t = h_i(o_i^t, a_i^{t-1}; \xi_i) + \epsilon_{ij}

其中 h_i 为通信网络，\epsilon_{ij} \sim \mathcal{N}(0, \sigma^2) 为噪声。

3.3.2 可微通信层

CommNet (Foerster et al., 2016) 使用连续通信：

c_i^t = \frac{1}{n-1} \sum_{j \neq i} h_j(o_j^t, a_j^{t-1})

a_i^t = f_i(c_i^t, o_i^t)

BIC (Hong et al., 2018) 引入瓶颈层强制通信压缩：

c_i^t = \text{Bottleneck}(o_i^t) \in \mathbb{R}^k, \quad k \ll |\Omega_i|

---

4. 均值场博弈

4.1 大量智能体的近似

4.1.1 均值场近似的动机

当智能体数量 n \rightarrow \infty 时，直接建模变得不可行。均值场理论通过近似邻居的平均效应来解决这个问题。

定义 4.1（均值场） 定义邻居平均动作：

\bar{a}_i^t = \frac{1}{n-1} \sum_{j \neq i} a_j^t \approx \mathbb{E}_{j \sim \text{neigh}(i)} [a_j]

4.1.2 均值场博弈定义

定义 4.2（均值场博弈，MFG） 一个连续时间均值场博弈定义为：

• 状态演化：

\dot{x}_i(t) = f(x_i(t), a_i(t), \bar{a}(t)), \quad \bar{a}(t) = \mathbb{E}[a_j(t)]

• Hamilton-Jacobi-Bellman 方程：

0 = \frac{\partial V}{\partial t} + \max_{a_i} \left\{ r(x_i, a_i, \bar{a}) + \nabla_x V \cdot f(x_i, a_i, \bar{a}) \right\}

• Fokker-Planck 方程（人口分布演化）：

\frac{\partial \mu}{\partial t} + \nabla_a \cdot (\mu \cdot \bar{a}) = 0

其中 \mu 为状态分布。

4.2 离散时间均值场 Q 学习

4.2.1 均值场 Q 函数

定义 4.3（均值场 Q 函数） 智能体 i 的均值场 Q 函数：

Q_i^{\mathrm{KL}}(s, a_i) \approx r(s, a_i, \bar{a}) + \gamma \mathbb{E}_{s' \sim P} \left[ V^{\mathrm{KL}}(s') \right]

其中 \bar{a} = \frac{1}{n} \sum_j a_j 为均值动作。

4.2.2 均值场近似误差

定理 4.1（均值场逼近误差） 设 n 个智能体的真实 Q 函数为 $Q_i^{(n)}(s, \mathbf{a})$，均值场近似为 $Q_i^{\mathrm{KL}}(s, a_i)$，则：

|Q_i^{(n)}(s, \mathbf{a}) - Q_i^{\mathrm{KL}}(s, a_i)| \leq \frac{C}{\sqrt{n}}

其中常数 C 依赖于奖励函数的 Lipschitz 常数。

证明思路：使用 McDiarmid 不等式和 Stein 方法，可证明均值场近似的 O(1/\sqrt{n}) 收敛率。\square

4.2.3 MFQ 算法

算法 2：Mean Field Q-Learning

初始化：Q网络，μ网络（均值场估计）
for episode do
    初始化均值场估计 μ(s)

    for t = 1 to T do
        每个智能体i基于 Q_i(s, ·) 和 μ(s) 选择动作 a_i^t

        执行联合动作，获得奖励 r_t^i 和下一状态 s_{t+1}
        更新均值场估计：μ_{t+1}(s) ← α μ_t(s) + (1-α) \bar{a}_t

        // 更新 Q 函数
        y_i = r_i(s, a_i, μ(s)) + γ V_i(s', μ(s'))
        更新 Q_i 通过 TD: (y_i - Q_i(s, a_i))^2
    end for
end for

4.3 均值场博弈与图神经网络

4.3.1 图卷积近似

定义 4.4（图卷积均值场） 在图结构数据上定义：

\bar{a}_i = \frac{1}{\sqrt{d_i d_j}} \sum_{j \in \mathcal{N}_i} W_{ij} \cdot a_j

其中 W_{ij} 为邻接矩阵元素，d_i 为节点度数。

4.3.2 Graph Mean Field Q-Learning

算法 3：Graph Mean Field Q-Learning

对于每个图卷积层 l：
    对每个节点 i：
        聚合邻居消息：m_j^l = ReLU(W^l · h_j^{l-1})
        消息聚合：h_i^l = σ(W^l · [h_i^{l-1}, ∑_{j∈N_i} m_j^l]))
    更新均值场：μ_i^l = Mean({h_j^l : j ∈ N_i})

---

5. 通信与协作

5.1 通信协议学习

5.1.1 CommNet 架构

定义 5.1（CommNet 通信层） 第 t 步的通信状态：

c_i^t = \frac{1}{n-1} \sum_{j \neq i} \tanh(W \cdot h_j^{t-1} + b)

h_i^t = \tanh(U \cdot h_i^{t-1} + V \cdot c_i^t + b)

其中 h_i^t 为智能体 i 的隐状态。

5.1.2 Binary Communication (BIC)

定义 5.2（瓶颈通信） 使用自编码器结构强制信息压缩：

\text{Encoder}: z_i = \text{Enc}(o_i, a_i^{t-1}) \in \mathbb{R}^k

\text{Decoder}: \hat{o}_i = \text{Dec}(z_i)

\text{BIC Loss} = \|o_i - \hat{o}_i\|^2 + \beta \|z_i\|^2

5.1.3 延迟通信建模

定义 5.3（延迟通信信道） 第 i 个智能体在时刻 t 接收到的消息：

\tilde{c}_i^t = \sum_{\tau=0}^{L} \alpha_\tau c_i^{t-\tau}

其中 L 为最大延迟步数，\alpha_\tau 为衰减系数。

5.2 协作激励机制

5.2.1 内在奖励设计

定义 5.4（内在动机） 智能体 i 的内在奖励：

r_i^{\mathrm{KL} = r_i^{\mathrm{KL} + \beta \cdot \text{ICI}(i, \text{neighbors})

其中 $\text{ICI}$（Intrinsic Curiosity Incentive）为：

\text{ICI}_i = \| \hat{s}_{i}^{t+1} - s_{i}^{t+1} \|^2

5.2.2 teamGym 评估框架

定义 5.5（团队奖励分解） 在团队任务中：

r^{\mathrm{KL} = \sum_i r_i^{\mathrm{KL} + \lambda \cdot \text{IGM}(s)

其中 $\text{IGM}$（Individual Global Maxim）衡量因子化策略与联合最优的一致性。

---

6. 对抗多智能体

6.1 零和博弈中的多智能体

6.1.1 极小极大 Q 学习

定义 6.1（极小极大 Q 函数） 对抗设置下智能体 i 的 Q 函数：

Q_i(s, \mathbf{a}) = \min_{\pi_{-i}} \max_{\pi_i} \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \gamma^t r_i(s_t, \mathbf{a}_t) \right]

6.1.2 双人零和博弈的收敛性

定理 6.1（极小极大定理） 双人零和博弈存在纳什均衡 $\sigma^*$，满足：

\max_{\sigma_1} \min_{\sigma_2} u_1(\sigma_1, \sigma_2) = \min_{\sigma_2} \max_{\sigma_1} u_1(\sigma_1, \sigma_2) = u_1(\sigma^*)

6.2 对抗性 RL

6.2.1 对抗扰动攻击

定义 6.2（对抗状态扰动） 对手通过添加扰动 \delta 修改观测：

\tilde{o}_i = o_i + \delta, \quad \|\delta\| \leq \epsilon

定义 6.3（鲁棒策略） 策略 \pi_i 对抗 $\epsilon$-有界扰动的鲁棒性：

\pi_i^{\mathrm{KL} = \arg\min_{\pi_i} \max_{\|\delta\| \leq \epsilon} \mathcal{L}(\pi_i, \tilde{o}_i)

6.2.2 PGD 对抗训练

算法 4：MADDPG + PGD 对抗训练

for episode do
    for 内部步 k = 1 to K do
        生成对抗扰动 δ：
        δ ← clip(δ + α · sign(∇_δ L(π, o + δ)), -ε, ε)
    end for

    执行带扰动的联合动作 (a_1 + δ_1, ..., a_n + δ_n)
    使用 MADDPG 更新策略
end for

6.3 稳健多智能体策略

6.3.1 分布鲁棒优化

定义 6.4（分布鲁棒均衡） 在分布不确定集 \mathcal{P} 上优化：

\max_{\pi_i} \min_{\mathbb{P} \in \mathcal{P}} \mathbb{E}_{\mathbb{P}} [V^{\pi_i}(\mathbb{P})]

其中 \mathcal{P} 可建模为 $\epsilon$-邻域的 KL 球：

\mathcal{P} = \{ \mathbb{P} : D_{\mathrm{KL}}(\mathbb{P} \| \mathbb{P}_0) \leq \epsilon \}

---

7. 收敛性与理论

7.1 Marlin 算法的收敛性分析

7.1.1 Marlin 算法框架

Marlin (Schuurmans et al., 2023) 将多智能体值函数分解与策略迭代结合。

定理 7.1（Marlin 收敛性） 在满足以下条件时，Marlin 算法收敛至纳什均衡：

1. 单调性：值函数估计单调递增
2. 有界性：\|Q_i\| \leq B, \forall i
3. 探索充分性：每个智能体以概率 p > 0 探索所有动作

证明：将 Marlin 视为近似的策略迭代过程。使用压缩映射定理，每次迭代的误差上界：

\|Q^{k+1} - Q^*\| \leq \gamma \|Q^k - Q^*\| + \epsilon_{\mathrm{KL}

其中 \epsilon_{\mathrm{KL}} 为分解近似的误差。递归展开：

\|Q^k - Q^*\| \leq \gamma^k \|Q^0 - Q^*\| + \frac{\epsilon_{\mathrm{KL}}{1-\gamma}

当 $k \to \infty$，$\gamma^k |Q^0 - Q^*| \to 0$，故收敛到 Q^* 的 $\frac{\epsilon_{\mathrm{KL}}{1-\gamma}$ 邻域。\square

7.2 多智能体信用分配的收敛界

7.2.1 有限样本界

定理 7.2（信用分配有限样本界） 设使用 Shapley 值进行信用分配，基于 m 个样本估计，则以概率 $1-\delta$：

|\hat{\phi}_i - \phi_i| \leq \frac{C \sqrt{\ln(1/\delta)}}{\sqrt{m}}

证明：Shapley 值是 n! 个排列的均值。使用 Hoeffding 不等式和 Union Bound 可得上式。\square

7.2.2 偏差-方差 tradeoff

定义 7.1（信用分配偏差） 近似 Shapley 值与真实 Shapley 值的偏差：

\text{Bias}(\hat{\phi}_i) = |\mathbb{E}[\hat{\phi}_i] - \phi_i|

定义 7.2（信用分配方差） 估计的方差：

\text{Var}(\hat{\phi}_i) = \mathbb{E}[(\hat{\phi}_i - \mathbb{E}[\hat{\phi}_i])^2]

7.3 无中心化 Critic 时的稳定性

7.3.1 独立 Q 学习的发散性

定理 7.3（独立 Q 学习的非收敛性） 在一般和博弈中，独立 Q 学习（IQL）不保证收敛到纳什均衡。

反例：考虑两人协调博弈：

	a_2^L	a_2^R
a_1^L	1, 1	0, 0
a_1^R	0, 0	1, 1

IQL 可能收敛到 (a_1^L, a_2^R) 或 $(a_1^R, a_2^L)$，而非帕累托最优的 (L, L) 或 $(R, R)$。

7.3.2 稳定化技术

纳什 Q 学习 (Nash Q-Learning)：

Q_i^{t+1}(s, \mathbf{a}) = (1-\alpha) Q_i^t(s, \mathbf{a}) + \alpha [r_i(s, \mathbf{a}) + \gamma \text{NashQ}_i(s')]

其中 $\text{NashQ}i(s') = \min{\pi_{-i}} \max_{\pi_i} \sum_{\mathbf{a}'} \pi_i(a_i') Q_i(s', \mathbf{a}')$。

7.3.3 乐观/悲观策略

定义 7.3（乐观策略） 假设其他智能体会配合：

\pi_i^{\mathrm{KL} = \arg\max_{\pi_i} \max_{\pi_{-i}} \mathbb{E}[r_i(\pi_i, \pi_{-i})]

定义 7.4（悲观策略） 假设其他智能体会对抗：

\pi_i^{\mathrm{KL} = \arg\max_{\pi_i} \min_{\pi_{-i}} \mathbb{E}[r_i(\pi_i, \pi_{-i})]

---

8. 总结与前沿方向

8.1 方法对比

方法	分解结构	通信需求	收敛保证	适用范围
VDN	线性加和	无	仅团队游戏	小规模协作
QMIX	单调混合	无	仅团队游戏	中等规模协作
QTRAN	一般分解	无	部分	一般和博弈
MADDPG	中心化 Critic	可选	无	协作/竞争
MAPPO	中心化 Critic	可选	无	协作/竞争
MFQ	均值场近似	无	O(1/\sqrt{n})	大规模系统

8.2 前沿研究方向

1. 鲁棒 MARL：对抗扰动下的稳健策略学习
2. 通信可信性：可验证的通信协议
3. 层次化 MARL：多尺度协作与竞争
4. 离线 MARL：基于历史数据的多智能体策略学习
5. 元 MARL：快速适应新任务的多智能体系统

---

参考文献

1. Zhang, K., Yang, Z., & Başar, T. (2021). Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms. Handbook of RL for Control systems.
2. Oliehoek, F. A., & Amato, C. (2016). A Concise Introduction to Decentralized POMDPs. Springer.
3. Sunehag, P., et al. (2017). Value Decomposition Networks. AAAI.
4. Rashid, T., et al. (2018). QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent RL. ICML.
5. Lowe, R., et al. (2017). Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. NeurIPS.
6. Yang, Y., et al. (2020). Mean Field Multi-Agent Reinforcement Learning. ICML.
7. Foerster, J., et al. (2016). Learning to Communicate with Deep Multi-Agent Reinforcement Learning. NeurIPS.
8. Schuurmans, D., et al. (2023). Marlin: A Theoretical Framework for Multi-Agent RL. arXiv.