e2hang/Notes

Fork 0

Files

e2hang 2f5211d8fe New Notes

2026-05-16 17:16:51 +08:00

27 KiB

Raw Permalink Blame History

title, draft, tags

title

draft

Offline RL（离线强化学习）

1. Offline RL 的定义与挑战

1.1 问题定义

Offline Reinforcement Learning（离线强化学习）又称为 Batch Reinforcement Learning，旨在从一批由未知行为策略 \pi_{\mathrm{KL}} 生成的固定交互数据 \mathcal{D} = \{(s_t, a_t, r_t, s_{t+1})\}_{t=1}^N 中学习最优策略，而无需与环境进行任何额外交互。

形式化地，给定：

状态空间 \mathcal{S} 和动作空间 \mathcal{A}
转移概率 p(s'|s,a) 和奖励函数 r(s,a)
数据集 $\mathcal{D}$，其中样本来自 \pi_{\mathrm{KL}}

目标是学得一个策略 \pi_\theta 使得期望累积奖励 \mathbb{E}_{\pi_\theta}\left[\sum_{t=0}^\infty \gamma^t r(s_t, a_t)\right] 最大。

1.2 Offline RL vs Online RL：数据分布偏移问题

Online RL 的核心假设是智能体能够持续与环境交互，数据分布随策略更新而同步演化。这一特性使得 Online RL 能够主动收集对当前策略有益的样本（探索），并即时修正价值估计的偏差。

Offline RL 则面临根本性的困境：学习过程中无法进行交互，只能依赖于固定数据集 \mathcal{D} 中的经验。这一限制引入了以下核心挑战：

数据分布偏移（Distributional Shift）

在 Offline RL 中，策略 \pi_\theta 生成的动作用于计算价值函数和下一步决策，但这些动作可能从未出现在数据集 \mathcal{D} 中。设 d^{\pi_\theta}(s,a) 为当前策略诱导的状态-动作分布，d^{\pi_{\mathrm{KL}}}(s,a) 为数据集中的分布，则两者的差异：


\Delta(s,a) = d^{\pi_\theta}(s,a) - d^{\pi_{\mathrm{KL}}}(s,a)

价值函数 Q^\pi 在状态-动作对 (s,a) 上的估计质量取决于该 (s,a) 在数据中的覆盖程度。当 \pi_\theta 偏离 \pi_{\mathrm{KL}} 时，Q 函数的泛化误差显著增大。

1.3 分布偏移的数学刻画

定义累计折扣状态-动作分布：


d^{\pi_\theta}(s,a) = (1-\gamma) \sum_{t=0}^{\infty} \gamma^t \mathbb{P}\left(s_t=s, a_t=a \mid \pi_\theta, p\right)

设 Q_{\mathrm{KL}} 为真实价值函数，\hat{Q} 为基于 \mathcal{D} 拟合的近似价值函数，则对于任意 $(s,a)$：


\left|Q^{\pi_\theta}(s,a) - \hat{Q}(s,a)\right| \leq \underbrace{\left\|Q^{\pi_\theta} - \hat{Q}\right\|_{\infty} \cdot d^{\pi_\theta}(s,a)}_{\mathrm{KL} + \underbrace{\left|\hat{Q}(s,a) - Q^{\pi_\theta}(a,a)\right|}_{\mathrm{KL}

分布偏移导致的外推误差在分布支撑集外会急剧放大。

1.4 误差传播与复合误差（Compounding Error）

在动态规划框架下，价值函数通过贝尔曼方程递归计算：


Q^{\pi}(s,a) = r(s,a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a), a' \sim \pi(\cdot|s')}\left[Q^{\pi}(s', a')\right]

即使单步价值估计仅有微小偏差，经过多步传播后误差会指数级累积。设 \epsilon_t 为第 t 步的价值估计误差，则第 T 步的复合误差约为：


\left|\epsilon_T\right| \leq \sum_{t=0}^{T-1} \gamma^t \cdot \mathbb{E}\left[\left|\epsilon_{t+1}\right|\right] \approx \frac{1}{1-\gamma} \cdot \bar{\epsilon}

对于有限数据集，误差 \epsilon_t 的来源包括：

采样误差：数据量有限导致的统计波动
函数近似误差：神经网络表达能力不足
分布偏移误差：当前策略与数据分布不一致导致的OOD（Out-of-Distribution）估计

1.5 贝尔曼算子的外推问题（Extrapolation）

定义贝尔曼最优算子 $\mathcal{T}$：


(\mathcal{T}Q)(s,a) = r(s,a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}\left[\max_{a' \in \mathcal{A}} Q(s', a')\right]

在 Offline 设定下，期望中的 s' 服从环境真实转移 $p(\cdot|s,a)$，而非数据集分布。当数据覆盖不足时：

对于未见过的 (s', a') 对，Q(s', a') 的估计高度依赖外推
神经网络的外推能力有限，OOD 动作的 Q 值可能被严重高估或低估
高估的 Q 值会导致策略进一步偏离数据分布，形成恶性循环

外推误差界（参考 Kumar et al., 2019）：

设 \mathcal{D} 中 (s,a) 的经验分布为 $\hat{d}$，真实分布为 $d^{\pi_{\mathrm{KL}}$，则对任意 Q 函数：


$$\left\|(\mathcal{T}Q)_{\hat{d}} - (\mathcal{T}Q)_{d^{\pi_{\mathrm{KL}}}}\right\| \leq \gamma \cdot \underbrace{\left\|Q\right\|_{\infty} \cdot \delta_{\mathrm{KL}}}_{\mathrm{KL}} + \underbrace{\left|\hat{Q}(s,a) - Q^{\pi_\theta}(s,a)\right|}_{\mathrm{KL}}$$

其中 $\delta_{\mathrm{KL}} = \sup_{s,a}|\hat{d}(s,a) - d^{\pi_{\mathrm{KL}}(s,a)|$。

2. 策略约束方法

策略约束方法的核心思想是：将策略搜索限制在数据分布附近，以减轻分布偏移带来的外推误差。

2.1 BCQ（Batched Constrained Q-Learning）

2.1.1 约束动作空间

BCQ（Fujimoto et al., 2019）的核心观察是：数据集中的 (s,a) 对是"安全"的，因此将学得策略 \pi_\theta 限制为仅能输出数据中见过的动作的扰动版本：


\pi_\theta(s) = \underset{a \in \mathcal{A}}{\mathrm{KL} \; Q_\phi(s, a), \quad \text{s.t.} \quad a = a_{\mathrm{KL} + \epsilon \cdot \delta_a, \; \|a_{\mathrm{KL} - a\| \leq \Phi

其中 a_{\mathrm{KL}} 是从数据集中采样得到的与当前状态最接近的动作，\epsilon 是扰动幅度，\delta_a 是学得的扰动方向。

2.1.2 变分自动编码器（VAE）建模

BCQ 使用条件 VAE 来建模动作分布：

编码器：q_\phi(z|s,a) = \mathcal{N}(\mu_\phi(s,a), \sigma_\phi^2(s,a))

解码器：\pi_\theta(a|s,z) = \mathcal{N}(\mu_\theta(s,z), \sigma_\theta^2(s,z))

训练目标：


\mathcal{L}_{\mathrm{KL}}(\phi, \theta) = \mathbb{E}_{q_\phi(z|s,a)}\left[\|a - \pi_\theta(a|s,z)\|^2\right] + \beta \cdot D_{\mathrm{KL}\left(q_\phi(z|s,a) \| p(z)\right)

其中 p(z) = \mathcal{N}(0, I) 为先验。

推理时，BCQ 从先验采样潜在变量 $z$，重构动作，然后选择 Q 值最大的动作：


\pi_{\mathrm{KL}}(s) = \underset{z \sim p(z), a \sim \pi_\theta(\cdot|s,z)}{\mathrm{KL} \; Q_\phi(s, a)

为提高效率，实际只采样 N 个候选动作并选择最优。

2.2 CQL（Conservative Q-Learning）

2.2.1 核心思想

CQL（Kumar et al., 2020）的出发点是：标准 Q-Learning 在 Offline 设定下会系统性地高估 OOD 动作的 Q 值。为解决此问题，CQL 引入保守估计，对 OOD 动作的 Q 值施加惩罚。

2.2.2 目标函数数学推导

CQL 的目标函数包含两个核心项：

第一项：标准 Q-Learning 损失


\mathcal{L}_{\mathrm{KL}}(\theta) = \mathbb{E}_{s,a \sim \mathcal{D}}\left[\left(\hat{Q}_\theta(s,a) - \mathcal{T}\hat{Q}_{\theta}(s,a)\right]^2\right)

其中 \hat{Q}_\theta 是当前 Q 网络的输出，\mathcal{T} 是贝尔曼算子。

第二项：Conservative 正则化项

CQL 对所有动作（包括数据中的动作）同时进行约束，但重点惩罚 OOD 动作：


\text{CONS}(s,a) = \log \sum_{a' \in \mathcal{A}} \exp(Q(a')) - Q(a)

可以理解为在动作空间上对 Q 值施加了最大熵正则化，使得策略在动作选择上更加保守。

完整目标函数：


\min_\theta \mathbb{E}_{s,a \sim \mathcal{D}}\left[\left(\hat{Q}_\theta(s,a) - \underbrace{\left(r(s,a) + \gamma \mathbb{E}_{s' \sim \hat{p}(s'|s,a)}\left[\bar{V}(s')\right]\right)}_{\mathrm{KL}}\right)^2\right] - \lambda \cdot \text{CONS}(s,a)

其中 $\bar{V}(s) = \mathbb{E}{a \sim \pi{\mathrm{KL}(\cdot|s)}\left[Q(s,a)\right]$ 是数据分布下的期望值，\lambda 是正则化系数。

2.2.3 Conservative 估计的合理性证明

定理（Kumar et al., 2020）：设 Q_{\mathrm{KL}} 为 CQL 学得的价值函数，$Q^{\pi_{\mathrm{KL}}$ 为数据策略的价值函数，Q^* 为最优价值函数。则在一定条件下，有：


Q_{\mathrm{KL}}(s,a) \leq Q^{\pi_{\mathrm{KL}}}(s,a) \leq Q^*(s,a), \quad \forall (s,a)

即 CQL 给出了真实价值函数的下界估计。

证明概要：

考虑单步 Bellman 更新后的值函数：


Q_{\mathrm{KL}}(s,a) = r(s,a) + \gamma \mathbb{E}_{s'}\left[\max_{a'} Q_{\mathrm{KL}}(s', a')\right]

CQL 的保守项使得：


Q_{\mathrm{KL}}(s,a) \leq r(s,a) + \gamma \mathbb{E}_{s'}\left[\bar{V}(s')\right]

而 $\bar{V}(s) = \mathbb{E}{a \sim \pi{\mathrm{KL}}\left[Q(s,a)\right] \leq \max_{a'} Q(s,a)$，因此：


Q_{\mathrm{KL}}(s,a) \leq r(s,a) + \gamma \mathbb{E}_{s'}\left[\max_{a'} Q(s', a')\right] = Q^*(s,a)

得证。

2.2.4 实际算法步骤

算法 1：CQL 训练流程

初始化：Q_\theta 随机初始化，数据集 \mathcal{D} 包含 \pi_{\mathrm{KL}} 采样的经验
重复以下步骤直到收敛： a. 从 \mathcal{D} 采样 batch \{(s,a,r,s')\} b. 计算标准 Bellman 目标：y(s,a) = r + \gamma \bar{V}(s') c. 计算 Conservative 惩罚：
```
\text{CONS} = \log \frac{1}{|\mathcal{A}|} \sum_{a' \in \mathcal{A}} \exp(Q_\theta(s,a')) - Q_\theta(s,a)
```
d. 更新 Q 网络：
```
\theta \leftarrow \theta - \alpha \nabla_\theta \left[\left(Q_\theta(s,a) - y(s,a)\right]^2 - \lambda \cdot \text{CONS}\right)
```
e. 更新 $\bar{V}$（可选，使用指数移动平均）

2.3 IQL（Implicit Q-Learning）

2.3.1 动机与核心思想

IQL（Kostrikov et al., 2022）观察到：CQL 需要在动作空间上计算 softmax，这对于连续动作空间计算代价高昂。IQL 转而采用**_expectile regression** 来隐式地学习一个保守的价值估计，而无需显式地枚举动作。

2.3.2 Expectile Regression

对于随机变量 $X$，其 $\tau$-expectile（$0 < \tau < 1$）定义为：


\mu_\tau = \arg\min_m \; \mathbb{E}\left[\rho_\tau(X - m)\right]

其中 expectile 损失函数为：


\rho_\tau(r) = 
\begin{cases}
(1-\tau) r^2 & \text{if } r < 0 \\
\tau r^2 & \text{if } r \geq 0
\end{cases}

与分位数回归（quantile regression）不同，expectile 回归对正、负残差施加非对称权重但不显式预测分位数点。

2.3.3 IQL 目标函数推导

IQL 不直接学习 Q 函数，而是学习优势函数 A^\pi(s,a) = Q^\pi(s,a) - V^\pi(s) 的隐式分布。

设 A_\tau(s,a) 表示优势函数的 $\tau$-expectile（即对优势值较大的动作给予较高权重）。IQL 定义如下双分量目标：

1. 渐近价值估计（Asymptotic Value）


V_\psi^{\mathrm{KL}}(s) = \mathbb{E}_{a \sim \pi_{\mathrm{KL}(\cdot|s)}\left[\exp\left(\frac{1}{\beta} A_\psi(s,a)\right) \cdot Q_\theta(s,a)\right]} / Z

其中 Z 是归一化常数，\beta 是温度参数。

2. 期望值估计（Expectation-based）


V_\psi^{\mathrm{KL}}(s) = \mathbb{E}_{a \sim \pi_{\mathrm{KL}(\cdot|s)}\left[\tau \cdot \exp\left(\frac{1}{\beta} A_\psi(s,a)\right) \cdot Q_\theta(s,a)\right]} / Z

实际实现中，IQL 采用优势条件期望的形式：


V^{\mathrm{KL}}(s) = \mathbb{E}_{a \sim \pi_{\mathrm{KL}}}\left[\min\left(0, A(s,a)\right)\right] + \mathbb{E}_{a \sim \pi_{\mathrm{KL}}}\left[Q(s,a)\right]


V^{\mathrm{KL}}(s) = \mathbb{E}_{a \sim \pi_{\mathrm{KL}}}\left[\max\left(0, A(s,a)\right)\right] + \mathbb{E}_{a \sim \pi_{\mathrm{KL}}}\left[Q(s,a)\right]

2.3.4 IQL 的渐近无偏性

定理：当 \tau \to 1 且 \beta \to 0 时，IQL 的价值估计 V_{\mathrm{KL}}(s) 收敛到 $V^{\pi_{\mathrm{KL}}(s)$（数据策略的价值函数）。

证明：

当 \beta \to 0 时，\exp(A/\beta) 的质量集中于 A 最大的动作。因此：


\lim_{\beta \to 0} V^{\mathrm{KL}}(s) = \max_{a \in \mathcal{A}} Q(s,a)

当 \tau \to 1 时，expectile 回归的权重倾向于选择较大的 A 值，即：


\lim_{\tau \to 1} A_\tau(s,a) \approx \max_{a'} A(s,a')

综合两者，$V_{\mathrm{KL}}(s) \approx \max_a Q(s,a) = V^*(s)$，但在有限数据下受限于数据分布支撑集。

2.3.5 IQL 算法步骤

算法 2：IQL 训练流程

初始化：$Q_{\theta_1}, Q_{\theta_2}$（双网络减少过估计），$V_\psi$，数据集 \mathcal{D}

重复以下步骤直到收敛： a. 从 \mathcal{D} 采样 batch \{(s,a,r,s')\} b. 更新 V 网络（expectile regression）：


\psi \leftarrow \psi - \alpha \nabla_\psi \mathbb{E}_{a \sim \pi_{\mathrm{KL}}}\left[\rho_\tau\left(A_\theta(s,a) - V_\psi(s)\right)\right]

c. 更新 Q 网络（标准 Bellman 更新）：


\theta_i \leftarrow \theta_i - \alpha \nabla_{\theta_i} \mathbb{E}_{s,a,r,s'}\left[\left(r + \gamma V_\psi(s') - Q_{\theta_i}(s,a)\right)^2\right]

d. 提取策略：\pi(a|s) \propto \exp\left(\frac{1}{\beta}\max(0, A(s,a) - \text{threshold})\right)

3. 重要性采样方法

3.1 重要性采样基础

在 Off-policy 强化学习中，重要性采样比（Importance Sampling Ratio）用于修正策略差异：


\rho_t = \frac{\pi(a_t|s_t)}{\mu(a_t|s_t)}

其中 \pi 是目标策略，\mu 是行为策略（数据生成策略）。

无偏策略梯度：


\nabla_\theta J(\pi_\theta) = \mathbb{E}_{\tau \sim \pi_\theta}\left[\sum_{t=0}^T \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot R(\tau)\right]

Off-policy 修正：


\nabla_\theta J(\pi_\theta) = \mathbb{E}_{\tau \sim \mu}\left[\prod_{t=0}^T \rho_t \cdot \sum_{t=0}^T \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot R(\tau)\right]

3.2 IGEBC（Impressive Gradient Estimation for BC）

3.2.1 梯度重要性采样

IGEBC（Nachum et al., 2019）提出直接估计策略梯度中的重要性权重，而无需显式计算策略比率：

核心观察：对于 $Q(a) = \mathbb{E}{s'}\left[\max{a'} Q(s',a')\right]$，梯度为：


\nabla_\theta Q(a) = \nabla_\theta \mathbb{E}_{s'}\left[V(s')\right] = \mathbb{E}_{s'}\left[\nabla_\theta V(s')\right]

这意味着我们可以通过价值函数对动作的梯度来估计策略改进方向。

3.2.2 IGEBC 目标函数

IGEBC 的策略目标是最大化加权价值估计：


J_{\mathrm{KL}(\pi_\theta) = \mathbb{E}_{s \sim \mathcal{D}, a \sim \pi_\theta(\cdot|s)}\left[Q(s,a)\right] \cdot w(s,a)

其中 w(s,a) 是重要性权重，用于修正策略偏移：


w(s,a) = \frac{d^{\pi_{\mathrm{KL}}(s,a)}{d^{\pi_\theta}(s,a)} \approx \frac{\pi_{\mathrm{KL}}(a|s)}{\pi_\theta(a|s)}

3.2.3 梯度推导

对数策略梯度给出：


\nabla_\theta \log \pi_\theta(a|s) = \frac{\nabla_\theta \pi_\theta(a|s)}{\pi_\theta(a|s)}

IGEBC 的梯度为：


\nabla_\theta J_{\mathrm{KL} = \mathbb{E}_{s,a \sim \pi_\theta}\left[\nabla_\theta \log \pi_\theta(a|s) \cdot Q(s,a) \cdot \frac{\pi_{\mathrm{KL}}(a|s)}{\pi_\theta(a|s)}\right]

简化后：


\nabla_\theta J_{\mathrm{KL} = \mathbb{E}_{s,a \sim \pi_\theta}\left[\nabla_\theta \pi_\theta(a|s) \cdot Q(s,a) \cdot \frac{\pi_{\mathrm{KL}}(a|s)}{\pi_\theta^2(a|s)}\right]

3.2.4 实际实现技巧

截断重要性权重：防止极端的权重值


\bar{\rho} = \min\left(\rho, \rho_{\max}\right)

双时间尺度更新：先更新 Q 函数，再更新策略
延迟策略更新：每隔 k 步更新一次策略，减少方差

3.3 策略梯度与重要性采样的权衡

Off-policy 修正的核心矛盾在于偏差-方差权衡：

高方差：严格的重要性采样修正（$\prod_t \rho_t$）在长序列中方差爆炸
高偏差：忽略修正（$\rho_t = 1$）在策略差异大时产生严重偏差

Per-decision 重要性采样 (PDIS)：


\hat{g}_{\mathrm{KL}} = \frac{1}{T} \sum_{t=0}^T \mathbb{E}\left[\left(\prod_{k=0}^t \rho_k\right) \cdot \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot \hat{R}_t\right]

其中 \hat{R}_t 是从 t 时刻到结尾的折扣回报。

4. 价值函数约束与不确定性

4.1 不确定性估计在 Offline RL 中的作用

Offline RL 中的价值估计误差主要来源于：

认知不确定性（Epistemic Uncertainty）：由于有限数据导致的模型不确定性
偶然不确定性（Aleatoric Uncertainty）：环境固有的随机性

对于 OOD 状态-动作对，认知不确定性通常会升高。量化这种不确定性可以帮助：

惩罚高不确定性的价值估计
指导安全探索（但在 Offline 中受限于数据）
识别数据覆盖不足的区域

4.2 Ensemble 方法与 Bootstrap

4.2.1 Bootstrap 集成

给定数据集 $\mathcal{D}$，通过有放回抽样生成 K 个 bootstrap 数据集 ${\mathcal{D}k}{k=1}^K$：


\mathcal{D}_k = \text{BootstrapSample}(\mathcal{D}, |\mathcal{D}|)

每个 bootstrap 样本训练一个独立的 Q 网络 $Q_{\theta_k}$。

价值估计集成：


\bar{Q}(s,a) = \frac{1}{K} \sum_{k=1}^K Q_{\theta_k}(s,a)

不确定性估计：


\sigma^2_Q(s,a) = \frac{1}{K} \sum_{k=1}^K \left(Q_{\theta_k}(s,a) - \bar{Q}(s,a)\right)^2

4.2.2 保守价值估计

基于不确定性估计，可以构造保守价值下界：


Q_{\mathrm{KL}}(s,a) = \bar{Q}(s,a) - \lambda \cdot \sigma_Q(s,a)

定理：设 Q^* 为真实最优价值函数，则以概率 $1-\delta$：


Q_{\mathrm{KL}}(s,a) \leq Q^*(s,a)

证明：使用 McDiarmid 不等式或 Hoeffding-type 一致性界，可得：


\mathbb{P}\left(\bar{Q}(s,a) - Q^*(s,a) \geq \epsilon\right) \leq \exp\left(-\frac{2\epsilon^2}{\sigma_{\max}^2}\right)

其中 \sigma_{\max} 是单步价值估计的方差上界。

4.3 蒙特卡洛 vs Bootstrap 集成

方法	优点	缺点
蒙特卡洛（多重轨迹平均）	无偏估计	需要多次完整轨迹采样，计算代价高
Bootstrap 集成	高效，可同时估计均值和方差	对初始化敏感，需要足够的 ensemble 数量

推荐实践：在 Offline RL 中使用 5-10 个 ensemble 成员，在计算效率和估计精度间取得平衡。

5. 模型基础 Offline RL（Model-based Offline RL）

5.1 问题设定

在 Model-based Offline RL（MBRL）中，我们首先从数据 \mathcal{D} 中学习一个动态模型 $p_\phi(s'|s,a)$，然后基于该模型进行策略优化。

优势：

可以通过模型生成额外的转移样本
可以进行"想象力"规划

风险：

模型误差在外推中会被放大
错误模型可能导致完全错误的策略

5.2 不确定性感知模型

5.2.1 贝叶斯神经网络

设网络权重 \phi 服从后验分布 $p(\phi|\mathcal{D})$。预测分布为：


p_\mathcal{D}(s'|s,a) = \int p(s'|s,a,\phi) \cdot p(\phi|\mathcal{D}) \, d\phi

近似推断可采用：

Dropout 近似：在推理时保持 dropout 激活，，多次前向传播估计方差
Mean-Field 近似：假设 q(\phi) \approx \mathcal{N}(\mu, \sigma^2)

5.2.2 集成模型

与价值函数集成类似，动态模型也可以用 ensemble：


p_{\mathrm{KL}}(s'|s,a) = \frac{1}{K} \sum_{k=1}^K p_{\phi_k}(s'|s,a)

模型不确定性：


\sigma^2_{\mathrm{KL}}(s,a) = \frac{1}{K} \sum_{k=1}^K \left\|\mu_k(s,a) - \bar{\mu}(s,a)\right\|^2

其中 $\mu_k(s,a) = \mathbb{E}{s' \sim p{\phi_k}(\cdot|s,a)}\left[s'\right]$。

5.3 保守模型学习

5.3.1 约束模型训练

为防止模型外推误差，MBPO（Model-based Offline Policy Optimization, Janner et al., 2019）提出：

模型正则化损失：


\mathcal{L}_{\mathrm{KL}}(\phi) = \mathbb{E}_{s,a,s' \sim \mathcal{D}}\left[-\log p_\phi(s'|s,a)\right] + \beta \cdot \underbrace{\mathbb{E}_{s,a}\left[\sigma^2_{\mathrm{KL}}(s,a)\right]}_{\mathrm{KL}

5.3.2 规划时保守修正

在基于模型进行规划时，对每步 rollout 的奖励/价值进行折扣修正：


\hat{R}_{\mathrm{KL} = R - \lambda \cdot \sigma_{\mathrm{KL}

其中 \sigma_{\mathrm{KL}} 是沿 rollout 累积的不确定性估计。

算法 3：MBPO 概要

从 \mathcal{D} 训练 ensemble 动态模型 \{p_{\phi_k}\}
基于模型估计不确定性 \{\sigma_k(s,a)\}
对于当前状态 $s$，生成短-horizon rollouts：
- 从每个模型 k 采样 N 条轨迹
- 计算折扣累积回报 R_k
- 保守价值估计：\hat{V}(s) = \min_k R_k - \lambda \cdot \sigma_k
使用 \hat{V} 指导策略更新

6. 理论分析

6.1 最小后悔界（Minimum Regret Bound）

Regret 定义为最优策略价值与学得策略价值之差的累计：


\text{Regret}(T) = \sum_{t=1}^T \left(V^*(s_t) - V^{\pi_\theta}(s_t)\right)

Offline RL 的目标是最小化 worst-case regret。

定理（Offline RL Regret Bound）：

设 \hat{\pi} 为从数据集 \mathcal{D} 学得的策略，$|\mathcal{D}| = N$，则：


\text{Regret}(T) \leq \tilde{O}\left(\frac{T \cdot H^2}{\sqrt{N}} + T \cdot \epsilon_{\mathrm{KL}\right)

其中：

H 是轨迹长度（考虑有限 horizon 或折扣因子 $\gamma$）
\epsilon_{\mathrm{KL}} 是策略约束带来的近似误差
\tilde{O} 忽略对数因子

6.2 Fitted Q-Iteration 与收敛性

6.2.1 Fitted Q-Iteration 算法框架

算法 4：Fitted Q-Iteration

初始化：Q_0 任意初始化

迭代 (k = 0, 1, 2, \dots)：

E步骤（评估）：对所有 $(s,a) \in \mathcal{D}$，计算目标值


y_k(s,a) = r(s,a) + \gamma \mathbb{E}_{s' \sim \mathcal{D}}\left[\max_{a'} Q_k(s', a')\right]

M步骤（拟合）：更新 Q 函数


Q_{k+1} = \arg\min_Q \mathbb{E}_{s,a \sim \mathcal{D}}\left[\left(Q(s,a) - y_k(s,a)\right]^2\right)

6.2.2 收敛性分析

定理：若 Q 函数类 \mathcal{Q} 是函数空间的凸闭集，且每次迭代的拟合误差有界，则 Fitted Q-Iteration 收敛到唯一不动点 $Q^*$。

证明要点：

定义算子 $\mathcal{F}^\pi : \mathcal{Q} \to \mathcal{Q}$：


(\mathcal{F}^\pi Q)(s,a) = r(s,a) + \gamma \mathbb{E}_{s'}\left[\pi(Q)(s', a')\right]

其中 \pi(Q) 是贪婪策略。

\mathcal{F}^\pi 是 $\gamma$-收缩算子：


\left\|(\mathcal{F}^\pi Q_1 - \mathcal{F}^\pi Q_2)\right\| \leq \gamma \left\|Q_1 - Q_2\right\|

由 Banach 不动点定理，存在唯一不动点 Q^\pi = \mathcal{F}^\pi Q^\pi
对于最优策略 $\pi^*$，不动点满足 Q^* = \mathcal{F}^{\pi^*} Q^*

6.3 Offline RL 的 PAC 界

PAC（Probably Approximately Correct）界提供了样本复杂度保证。

定义（PAC 界）：算法 \mathcal{A} 是 $(\epsilon, \delta)$-PAC 的，若以概率至少 $1-\delta$，输出策略 \pi 满足：


\mathbb{E}_{s \sim d^{\pi_{\mathrm{KL}}}\left[V^*(s) - V^\pi(s)\right] \leq \epsilon

定理（Offline RL PAC 界）：

设 \mathcal{D} 包含 N 个 i.i.d. 样本，则存在算法使得：


\mathbb{E}\left[V^* - V^{\hat{\pi}}\right] \leq \tilde{O}\left(\frac{1}{\sqrt{N}} + \frac{1}{(1-\gamma)^2} \cdot \epsilon_{\mathrm{KL}\right)

其中 \epsilon_{\mathrm{KL}} 是数据覆盖不足程度的度量：


\epsilon_{\mathrm{KL} = \mathbb{E}_{s \sim d^{\pi^*}}\left[\left(1 - \frac{d^{\pi_{\mathrm{KL}}(s)}{d^{\pi^*}(s)}\right]_+\right)

(x)_+ = \max(x, 0) 是正部函数。

7. 与生成式模型的关系

7.1 Decision Transformer 作为 Offline RL 方法

7.1.1 序列建模范式

Decision Transformer（Chen et al., 2021）将 RL 问题重新表述为序列建模问题：

输入序列：


\mathbf{x} = \left(R_1, a_1, s_1, R_2, a_2, s_2, \dots, R_t, a_t, s_t, \right)

输出：预测下一动作 a_{t+1}

其中 R_k = \sum_{i=k}^T \gamma^{i-k} r_i 是未来累计回报。

7.1.2 回报条件策略

Decision Transformer 学得条件分布：


\pi_\theta(a_{t+1} | \tau, R_{\mathrm{KL}}) = \text{Transformer}\left(\text{Embed}(\tau), \text{Embed}(R_{\mathrm{KL}})\right)

训练目标为标准的自回归分类损失：


\mathcal{L}(\theta) = -\mathbb{E}_{(a_{t+1}, \tau) \sim \mathcal{D}}\left[\log \pi_\theta(a_{t+1} | \tau, R_{\mathrm{KL}})\right]

7.1.3 Offline RL 视角

Decision Transformer 的独特优势在于：

无需显式价值函数：避免了价值估计的外推问题
回报条件控制：通过指定目标回报引导策略
序列建模的泛化能力：Transformer 能够处理长程依赖

7.2 Offline RL 与扩散模型的结合

7.2.1 扩散模型作为策略表示

近期工作（Diffuser, Chen et al., 2022; Decision Diffuser, Ajay et al., 2023）使用扩散模型直接建模策略分布：

前向过程（添加噪声）：


q(\mathbf{a}_t | \mathbf{a}_{t-1}) = \mathcal{N}\left(\mathbf{a}_t; \sqrt{1-\beta_t} \mathbf{a}_{t-1}, \beta_t \mathbf{I}\right)

反向过程（去噪）：


p_\theta(\mathbf{a}_{t-1} | \mathbf{a}_t) = \mathcal{N}\left(\mathbf{a}_{t-1}; \mu_\theta(\mathbf{a}_t, t), \sigma_t^2 \mathbf{I}\right)

轨迹优化目标：


\mathcal{L}(\theta) = \mathbb{E}_{t, \mathbf{a}_0 \sim \mathcal{D}, \epsilon \sim \mathcal{N}(0,I)}\left[\left\|\epsilon - \epsilon_\theta(\mathbf{a}_t, t)\right\|^2\right]

7.2.2 Classifier-Free Guidance 在 Offline RL 中的应用

引导分布：


\tilde{p}_\theta(\mathbf{a}_t | s, c) \propto p_\theta(\mathbf{a}_t | s) \cdot p_\theta(c | \mathbf{a}_t)^w

其中 c 是条件（如目标回报），w 是引导强度。

这允许在推理时通过调整 w 来平衡数据拟合和目标达成。

7.3 离线数据上的生成式模型预训练

7.3.1 预训练-微调范式

大规模离线数据可用于预训练通用策略先验：

预训练阶段：在大量多样化的离线数据上训练扩散策略/Transformer 策略
微调阶段：在特定任务数据上进行策略优化

7.3.2 冻结编码器的迁移学习

设预训练模型包含两部分：

表示编码器 $f_\psi$：提取状态/动作的通用表示
策略头 $\pi_\phi$：基于表示输出动作

迁移学习策略：


\pi_{\phi'}(a|s) = \pi_{\phi}\left(a | f_{\psi^{\mathrm{KL}}(s)\right)

其中 $f_{\psi^{\mathrm{KL}}$ 来自大规模预训练模型（如 VideoGPT, MaskGIT 等视觉编码器）。

8. 算法总结与比较

算法	核心方法	适用场景	关键超参数
BCQ	VAE + 约束动作空间	连续动作，数据覆盖较好	扰动幅度 $\epsilon$，采样数 `N`
CQL	Conservative Q 正则化	需要理论保证的保守估计	$\lambda$（正则化强度）
IQL	Expectile regression	高效连续控制，无需枚举动作	$\tau$（expectile），$\beta$（温度）
Decision Transformer	序列建模 + 回报条件	长程任务，需要条件控制	上下文长度 $K$，embed 维度
Diffuser	扩散模型轨迹优化	多模态策略分布，高维动作	去噪步数 $T$，引导强度 `w`

参考文献

Fujimoto, S., Meger, D., & Precup, D. (2019). Off-policy deep reinforcement learning without exploration. ICML.
Kumar, A., Zhou, A., Tucker, G., & Levine, S. (2020). Conservative Q-Learning for offline reinforcement learning. NeurIPS.
Kostrikov, I., Nair, A., & Levine, S. (2022). Offline reinforcement learning with implicit Q-learning. ICLR.
Nachum, O., Dai, B., Kostrikov, I., et al. (2019). Alternating training for offline reinforcement learning with policy gradient methods. ICLR.
Janner, M., Fu, J., Zhang, M., & Levine, S. (2019). When to trust your model: Model-based policy optimization. NeurIPS.
Chen, L., Lu, K., Rajeswaran, A., et al. (2021). Decision transformer: Reinforcement learning via sequence modeling. NeurIPS.
Ajay, A., Han, D., Agrawal, P., et al. (2023). Imitating task-agnostic policies with decision diffusers. ICML.

27 KiB Raw Permalink Blame History Unescape Escape