531 lines
18 KiB
Markdown
531 lines
18 KiB
Markdown
---
|
||
title: 5-因果推断
|
||
tags:
|
||
- 因果推断
|
||
- 统计学
|
||
- 机器学习
|
||
- 数学基础
|
||
---
|
||
|
||
# 因果推断（Causal Inference）
|
||
|
||
> **面向深度学习与强化学习科研人员的因果推断笔记**
|
||
> 本笔记涵盖从结构因果模型到强化学习中因果应用的完整理论体系，重点在于数学推导与算法直觉。
|
||
|
||
---
|
||
|
||
## 目录
|
||
|
||
1. [因果模型基础](#1-因果模型基础)
|
||
2. [do-calculus](#2-do-calculus)
|
||
3. [因果效应估计](#3-因果效应估计)
|
||
4. [反事实推理](#4-反事实推理)
|
||
5. [因果发现](#5-因果发现)
|
||
6. [在强化学习中的应用](#6-在强化学习中的应用)
|
||
7. [与信息论的交叉](#7-与信息论的交叉)
|
||
|
||
---
|
||
|
||
## 1. 因果模型基础
|
||
|
||
### 1.1 结构因果模型（Structural Causal Model, SCM）
|
||
|
||
**定义 1.1（结构因果模型）**
|
||
|
||
一个结构因果模型是一个四元组 $\mathcal{M} = (\mathbf{U}, \mathbf{V}, \mathbf{F}, P(\mathbf{U}))$，其中：
|
||
|
||
- $\mathbf{U} = \{U_1, U_2, \ldots, U_m\}$：外生变量（exogenous variables）集合，其概率分布 $P(\mathbf{U})$ 已给定
|
||
- $\mathbf{V} = \{V_1, V_2, \ldots, V_n\}$：内生变量（endogenous variables）集合，由模型内部变量确定
|
||
- $\mathbf{F} = \{f_1, f_2, \ldots, f_n\}$：一组结构方程，每个内生变量 $V_i$ 表示为
|
||
$$V_i = f_i(\mathbf{PA}_i, U_i)$$
|
||
其中 $\mathbf{PA}_i \subseteq \mathbf{V} \setminus \{V_i\}$ 是 $V_i$ 的父变量集合，$U_i \in \mathbf{U}$ 是独立的外生噪声
|
||
|
||
**形式化定义**：
|
||
|
||
$$X = f(P_A(X), U), \quad U \sim P(U)$$
|
||
|
||
其中 $P_A(X)$ 表示变量 $X$ 的所有父变量，$U$ 为独立的外生变量。
|
||
|
||
**示例**：考虑一个简单模型 $X \to Y \to Z$，其结构方程为：
|
||
$$\begin{aligned}
|
||
X &= f_X(U_X) = U_X, \quad U_X \sim \text{Bernoulli}(0.5) \\
|
||
Y &= f_Y(X, U_Y) = \mathbb{1}\{X + U_Y > 0.5\} \\
|
||
Z &= f_Z(Y, U_Z) = Y + U_Z
|
||
\end{aligned}$$
|
||
|
||
### 1.2 因果图与 d-分离
|
||
|
||
**定义 1.2（有向无环图 DAG）**
|
||
|
||
因果图是一个有向无环图 $\mathcal{G} = (\mathbf{V}, \mathbf{E})$，其中：
|
||
- 节点集 $\mathbf{V}$ 对应变量集合
|
||
- 边 $V_i \to V_j$ 表示 $V_i$ 是 $V_j$ 的直接原因
|
||
|
||
**定义 1.3（路径与阻断）**
|
||
|
||
给定 DAG $\mathcal{G}$ 中的一条路径，考虑三种基本结构：
|
||
|
||
1. **链式结构**（Chain）：$A \to B \to C$
|
||
2. **叉式结构**（Fork）：$A \to B \leftarrow C$（$B$ 是碰撞节点）
|
||
3. **碰撞结构**（Collider）：$A \to B \leftarrow C$
|
||
|
||
**定义 1.4（d-分离）**
|
||
|
||
设 $\mathbf{X}, \mathbf{Y}, \mathbf{Z}$ 为节点集 $\mathbf{V}$ 的三个不相交子集。若路径 $p$ 被 $\mathbf{Z}$ 阻断，当且仅当：
|
||
|
||
1. 链式结构 $A \to B \to C$、叉式结构 $A \leftarrow B \to C$：**中间节点 $B \in \mathbf{Z}$ 时路径阻断**；
|
||
2. 碰撞结构 $A \to B \leftarrow C$：**当且仅当 $B \notin \mathbf{Z}$ 且 $B$ 的所有后代也都不在 $\mathbf{Z}$ 中时，路径被阻断**；换言之，观测 $B$ 或其任意后代节点会**打通**碰撞路径。
|
||
|
||
若 $\mathbf{Z}$ 阻断了 $\mathbf{X}$ 和 $\mathbf{Y}$ 之间的所有路径，则称 $\mathbf{X}$ 和 $\mathbf{Y}$ 被 $\mathbf{Z}$ **d-分离**，记作：
|
||
$$(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$$
|
||
|
||
**核心规则**：观测链/叉的**中间节点**阻断路径；观测碰撞结构的**碰撞节点或其任意后裔**则打通路径。
|
||
|
||
**定理 1.1（d-分离与条件独立）**
|
||
|
||
在概率分布满足马尔可夫性和忠实性假设下：
|
||
$$(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}} \iff P(\mathbf{X}, \mathbf{Y} \mid \mathbf{Z}) = P(\mathbf{X} \mid \mathbf{Z}) P(\mathbf{Y} \mid \mathbf{Z})$$
|
||
|
||
**定理 1.2（全局马尔可夫性）**
|
||
|
||
若 $(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$，则在联合分布 $P(\mathbf{V})$ 中，$\mathbf{X}$ 与 $\mathbf{Y}$ 在给定 $\mathbf{Z}$ 时条件独立。
|
||
|
||
### 1.3 do 算子与干预
|
||
|
||
**定义 1.5（干预分布）**
|
||
|
||
do-算子表示对系统进行干预，将变量 $X$ 固定为常数 $x$：
|
||
$$P(Y \mid do(X = x)) = P_{do(x)}(Y)$$
|
||
|
||
这与条件概率 $P(Y \mid X = x)$ 有本质区别：
|
||
$$P(Y \mid do(X = x)) \neq P(Y \mid X = x)$$
|
||
|
||
**示例说明混杂**：
|
||
|
||
考虑 $X \to Y$ 和 $Z \to X$，$Z \to Y$。若我们观察 $X$ 与 $Y$ 的相关性：
|
||
$$P(Y \mid X = x) = \sum_z P(Y \mid X = x, Z = z) P(Z = z \mid X = x)$$
|
||
但因果效应：
|
||
$$P(Y \mid do(X = x)) = \sum_z P(Y \mid X = x, Z = z) P(Z = z)$$
|
||
|
||
两者不相等，因为 $Z$ 是 $X$ 和 $Y$ 的共同原因（混杂因子）。
|
||
|
||
**定义 1.6（干预图）**
|
||
|
||
对 DAG $\mathcal{G}$ 进行干预 $do(X = x)$，得到干预图 $\mathcal{G}_x$：
|
||
- 删除所有指向 $X$ 的边（$X$ 被强制固定）
|
||
- 保留其他所有结构
|
||
|
||
---
|
||
|
||
## 2. do-calculus
|
||
|
||
### 2.1 Pearl's do-calculus 三条基本规则
|
||
|
||
设 $\mathcal{G}_{\overline{X}}$ 为切掉 $X$ 所有入边后的干预图，$X,Y,Z,W$ 互不相交。
|
||
|
||
**规则 1（插入/删除观测）**
|
||
$$P(Y \mid do(X), Z, W) = P(Y \mid do(X), W)$$
|
||
成立条件：在 $\mathcal{G}_{\overline{X}}$ 中 $Y \perp\!\!\!\perp Z \mid X, W$。
|
||
|
||
**规则 2（行动/观测交换——后门准则本源）**
|
||
$$P(Y \mid do(X), Z) = P(Y \mid X, Z)$$
|
||
成立条件：原图 $\mathcal{G}$ 中 $X,Y$ 间所有后门路径被 $Z$ 阻断。
|
||
|
||
**规则 3（无效干预剔除）**
|
||
若在 $\mathcal{G}_{\overline{XZ}}$ 中 $Y \perp\!\!\!\perp Z \mid X, W$，则：
|
||
$$P(Y \mid do(X), do(Z), W) = P(Y \mid do(X), W)$$
|
||
|
||
### 2.2 可识别性判定算法
|
||
|
||
**定义 2.1（因果效应可识别性）**
|
||
|
||
因果效应 $P(Y \mid do(X = x))$ 是可识别的，当且仅当它可以用观测分布 $P(\mathbf{V})$ 表示。
|
||
|
||
**算法 2.1（因果效应识别算法）**
|
||
|
||
输入：因果图 $\mathcal{G}$，干预目标 $X$，目标变量 $Y$
|
||
输出：$P(Y \mid do(X))$ 是否可识别及表达式
|
||
|
||
**步骤 1**：构建后门准则集合
|
||
寻找所有与 $X$ 不相交且阻断所有 $X \leftrightarrow Y$ 后门路径的集合 $\mathbf{Z}$
|
||
|
||
**步骤 2**：应用 do-calculus 规则
|
||
对于每个有效集合 $\mathbf{Z}$，应用规则：
|
||
$$P(Y \mid do(X)) = \sum_{\mathbf{Z}} P(Y \mid X, \mathbf{Z}) P(\mathbf{Z})$$
|
||
|
||
**步骤 3**：验证可识别性
|
||
若存在至少一个有效集合 $\mathbf{Z}$，则因果效应可识别；否则不可识别。
|
||
|
||
**定理 2.1（可识别性充要条件）**
|
||
|
||
$P(Y \mid do(X = x))$ 当且仅当满足以下条件之一：
|
||
1. 存在集合 $\mathbf{Z}$ 阻断所有 $X$ 到 $Y$ 的后门路径
|
||
2. 通过有限次应用 do-calculus 规则可将其转化为仅包含观测分布的表达式
|
||
|
||
**定理 2.2（后门准则）**
|
||
|
||
令 $\mathbf{Z}$ 为一组节点。若：
|
||
1. $\mathbf{Z}$ 不包含 $X$ 的任何后代
|
||
2. $\mathbf{Z}$ 阻断 $X$ 与 $Y$ 之间的每条后门路径
|
||
|
||
则：
|
||
$$P(Y \mid do(X)) = \sum_{\mathbf{Z}} P(Y \mid X, \mathbf{Z}) P(\mathbf{Z})$$
|
||
|
||
---
|
||
|
||
## 3. 因果效应估计
|
||
|
||
### 3.1 潜在结果框架（Rubin Causal Model）
|
||
|
||
**定义 3.1（潜在结果）**
|
||
|
||
对于每个个体 $i$，定义：
|
||
- $Y_i(1)$：接受处理 $X_i = 1$ 的潜在结果
|
||
- $Y_i(0)$：接受处理 $X_i = 0$ 的潜在结果
|
||
- $Y_i$：实际观察到的结果，满足 $Y_i = Y_i(X_i)$
|
||
|
||
### 3.2 ATE、ATT 与 CATE
|
||
|
||
**定义 3.2（平均处理效应 ATE）**
|
||
|
||
$$\text{ATE} = \mathbb{E}[Y_1 - Y_0] = \mathbb{E}[Y(1) - Y(0)]$$
|
||
|
||
其中期望是对总体分布取的。
|
||
|
||
**定义 3.3（处理组的平均处理效应 ATT）**
|
||
|
||
$$\text{ATT} = \mathbb{E}[Y_1 - Y_0 \mid X = 1] = \mathbb{E}[Y(1) - Y(0) \mid X = 1]$$
|
||
|
||
**定义 3.4（条件平均处理效应 CATE）**
|
||
|
||
设 $Z$ 为协变量，$X \in \{0,1\}$ 为二元处理变量：
|
||
$$\text{CATE}(z) = \mathbb{E}[Y(1) - Y(0) \mid Z = z]$$
|
||
|
||
也称为异质处理效应（HTE），是个性化推荐和精准医疗的核心概念。
|
||
|
||
### 3.3 混杂问题
|
||
|
||
**定义 3.5（混杂因子）**
|
||
|
||
变量 $Z$ 是 $X$ 与 $Y$ 之间的混杂因子，当且仅当：
|
||
1. $Z \to X$ 且 $Z \to Y$（$Z$ 是两者的共同原因）
|
||
2. $Z$ **开启了** $X$ 与 $Y$ 之间的后门路径（是造成观测相关性 ≠ 因果效应的根源）
|
||
|
||
**问题（混杂偏倚）**：
|
||
|
||
$$P(Y \mid X = x) = \sum_z P(Y \mid X = x, Z = z) P(Z = z) \neq P(Y \mid do(X = x))$$
|
||
|
||
当存在未观测的混杂因子时，ATE 不可识别。
|
||
|
||
**定理 3.1（混杂偏倚表达式）**
|
||
|
||
定义混杂偏倚为：
|
||
$$\text{Bias} = P(Y \mid X = x) - P(Y \mid do(X = x))$$
|
||
|
||
则有：
|
||
$$P(Y \mid X = x) = \sum_z P(Y \mid do(X = x), Z = z) P(Z = z \mid X = x)$$
|
||
|
||
**识别公式**：
|
||
|
||
若满足 ignorability（无未观测混杂）：
|
||
$$Y(0), Y(1) \perp X \mid Z$$
|
||
|
||
则：
|
||
$$\text{ATE} = \mathbb{E}_Z[\mathbb{E}[Y \mid X = 1, Z] - \mathbb{E}[Y \mid X = 0, Z]]$$
|
||
|
||
### 3.4 因果效应估计方法
|
||
|
||
**公式 3.1（逆倾向加权 IPW）**
|
||
|
||
二元处理 ATE 的 IPW 估计：
|
||
$$\text{ATE} = \mathbb{E}\left[\frac{XY}{e(Z)}\right] - \mathbb{E}\left[\frac{(1-X)Y}{1-e(Z)}\right], \quad e(Z) = P(X=1 \mid Z)$$
|
||
|
||
干预分布的后门调整形式：
|
||
$$P(Y \mid do(X=x)) = \mathbb{E}_Z[\mathbb{E}[Y \mid X=x, Z]]$$
|
||
|
||
**公式 3.2（回归估计）**
|
||
|
||
通过回归模型直接估计：
|
||
$$\hat{\text{ATE}} = \frac{1}{n} \sum_{i=1}^n \left(\hat{\mathbb{E}}[Y \mid X = 1, Z_i] - \hat{\mathbb{E}}[Y \mid X = 0, Z_i]\right)$$
|
||
|
||
---
|
||
|
||
## 4. 反事实推理
|
||
|
||
### 4.1 反事实的定义与潜在结果框架
|
||
|
||
**定义 4.1（反事实结果）**
|
||
|
||
在结构因果模型中，反事实结果 $Y_x$ 表示：当干预 $do(X = x)$ 发生时，$Y$ 会取的值。
|
||
|
||
对于特定个体 $u$：
|
||
$$Y_x(u) = f_Y(\mathbf{PA}_{\mathcal{G}_x}(Y), u)$$
|
||
|
||
其中 $\mathbf{PA}_{\mathcal{G}_x}(Y)$ 表示在干预图 $\mathcal{G}_x$ 下 $Y$ 的父节点集合。
|
||
|
||
### 4.2 反事实的概率解释
|
||
|
||
**定理 4.1（反事实概率公式）**
|
||
|
||
$$P(Y_x = y) = \sum_u P(Y_x = y \mid U = u) P(U = u)$$
|
||
|
||
其中 $U$ 是外生变量（不可观测的潜在因子）。
|
||
|
||
**推导**：
|
||
|
||
由全概率公式：
|
||
$$\begin{aligned}
|
||
P(Y_x = y) &= \sum_u P(Y_x = y, U = u) \\
|
||
&= \sum_u P(Y_x = y \mid U = u) P(U = u) \quad \text{（边际化）}
|
||
\end{aligned}$$
|
||
|
||
**定理 4.2（反事实的条件概率）**
|
||
|
||
$$P(Y_x = y \mid X = x') = \sum_u P(Y_x = y \mid U = u, X = x') P(U = u \mid X = x')$$
|
||
|
||
当 $x \neq x'$ 时，这表示反事实条件概率。
|
||
|
||
### 4.3 与贝叶斯网络的关系
|
||
|
||
**定理 4.3（贝叶斯网络中的反事实）**
|
||
|
||
在贝叶斯网络中，给定观测证据 $E = e$，反事实推理计算：
|
||
$$P(Y_{x} = y \mid E = e)$$
|
||
|
||
这涉及：
|
||
1. **证据传播**：计算后验 $P(U \mid E = e)$
|
||
2. **干预更新**：修改网络结构为 $do(X = x)$
|
||
3. **边际化**：对 $U$ 求和
|
||
|
||
**结构因果模型与贝叶斯网络的区别**：
|
||
|
||
| 特征 | SCM | 贝叶斯网络 |
|
||
|------|-----|-----------|
|
||
| 干预处理 | 通过修改结构方程 | 需要重新参数化 |
|
||
| 反事实推理 | 自然支持 | 需要额外机制 |
|
||
| 因果语义 | 显式 | 隐式 |
|
||
|
||
### 4.4 反事实的算法实现
|
||
|
||
**算法 4.1（反事实采样算法）**
|
||
|
||
1. 从观测数据中推断外生变量后验：$P(U \mid \text{观测})$
|
||
2. 对每个样本 $u$，计算反事实结果：$Y_x(u) = f_Y(\mathbf{PA}_{\mathcal{G}_x}(Y), u)$
|
||
3. 聚合所有反事实结果得到分布：$P(Y_x = y)$
|
||
|
||
---
|
||
|
||
## 5. 因果发现
|
||
|
||
### 5.1 PC 算法
|
||
|
||
**算法 5.1（PC 算法 - 因果骨架发现 + 方向标注）**
|
||
|
||
**输入**：观测数据 $\mathbf{D} = \{X_1, X_2, \ldots, X_n\}$
|
||
**输出**：等价类因果 DAG
|
||
|
||
**阶段 1：骨架发现**
|
||
|
||
1. 初始化完全无向图 $\mathcal{G}$
|
||
2. 对每个节点对 $(X_i, X_j)$，检验条件独立性 $X_i \perp X_j \mid \mathbf{S}$
|
||
3. 若条件独立，删除边并记录分离集 $\mathbf{S}_{ij}$
|
||
4. 逐步增加条件集大小（从 0 到 $k$），直到达到最大深度
|
||
|
||
**阶段 2：方向标注**
|
||
|
||
1. 应用 v-结构准则：对非相邻节点对 $(X_i, X_j)$，若 $X_i$ 和 $X_j$ 有共同邻居 $X_k$，且 $X_k \in \mathbf{S}_{ij}$，则标注方向 $X_i \to X_k \leftarrow X_j$
|
||
2. 应用 Meek 规则扩展方向：
|
||
- 规则 R1：若 $X_i \to X_j - X_k$ 且 $X_i \perp X_k \mid X_j$，则 $X_j \to X_k$
|
||
- 规则 R2：若 $X_i \to X_j \to X_k$ 且 $X_i - X_k$，则 $X_i \to X_k$
|
||
|
||
**定理 5.1（PC 算法完备性）**
|
||
|
||
PC 算法返回的因果图与真实因果图在 d-分离意义上等价。
|
||
|
||
### 5.2 FCI 算法
|
||
|
||
**算法 5.2（FCI 算法 - 面向潜变量）**
|
||
|
||
当存在未观测的混杂因子时，PC 算法可能失效。FCI 算法通过引入可能集合（possible set）处理不确定性。
|
||
|
||
**主要修改**：
|
||
|
||
1. 骨架发现阶段使用更保守的条件独立性检验
|
||
2. 使用可能父母（possible parents）和可能后代（possible descendants）集合
|
||
3. 最终输出部分方向图（PAG）
|
||
|
||
### 5.3 评分搜索方法
|
||
|
||
**定义 5.1（BIC 评分函数）**
|
||
|
||
对于候选 DAG $\mathcal{G}$：
|
||
$$\text{BIC}(\mathcal{G}) = \log L(\mathcal{G} \mid \mathbf{D}) - \frac{d(\mathcal{G})}{2} \log n$$
|
||
|
||
其中 $L$ 是似然函数，$d(\mathcal{G})$ 是模型自由参数个数，$n$ 是样本量。
|
||
|
||
**算法 5.3（稀疏 DAG 发现）**
|
||
|
||
1. 初始化空图或稀疏图
|
||
2. 使用局部搜索算子（添加边、删除边、反转边）
|
||
3. 每步选择使 BIC 评分增加的操作
|
||
4. 继续直到收敛或达到最大迭代次数
|
||
|
||
**定理 5.2（渐近一致性）**
|
||
|
||
在样本量趋于无穷时，若真实因果图是稀疏的，则 BIC 评分搜索方法以概率 1 恢复真实图结构。
|
||
|
||
### 5.4 因果发现与因果推断的关系
|
||
|
||
**定理 5.3（因果可识别性与因果发现）**
|
||
|
||
因果发现解决的的问题是：从观测数据恢复因果结构。
|
||
|
||
因果推断解决的问题是：在已知因果结构下，从数据估计因果效应。
|
||
|
||
两者关系：
|
||
- 因果发现提供因果结构 $\mathcal{G}$
|
||
- 因果推断利用 $\mathcal{G}$ 识别和估计 $P(Y \mid do(X))$
|
||
|
||
---
|
||
|
||
## 6. 在强化学习中的应用
|
||
|
||
### 6.1 离线 RL 中的因果混淆
|
||
|
||
**问题定义**：
|
||
|
||
在离线强化学习中，观测数据 $(S_t, A_t, R_t, S_{t+1})$ 由某一行为策略 $\pi_\beta$ 生成。状态转移 $P(S_{t+1} \mid S_t, A_t)$ 可能存在未观测的混杂因子。
|
||
|
||
**因果分析**：
|
||
|
||
考虑状态 $S$、动作 $A$、奖励 $R$、下一状态 $S'$。若存在未观测变量 $U$ 同时影响 $A$ 和 $S'$，则：
|
||
$$P(S' \mid do(A)) \neq P(S' \mid A)$$
|
||
|
||
**定理 6.1（离线 RL 中的混淆偏倚）**
|
||
|
||
价值估计存在以下偏倚：
|
||
$$V^{\pi}(s) = \mathbb{E}[R \mid do(A) \sim \pi, do(S) = s] \neq \mathbb{E}[R \mid A \sim \pi, S = s]$$
|
||
|
||
**解决方案**：
|
||
|
||
1. **加权重要性采样**：修正混杂效应
|
||
2. **因果反事实校正**：利用 $do$-calculus 识别真实转移
|
||
|
||
### 6.2 Causal RL：基于因果的策略表示
|
||
|
||
**定义 6.1（因果策略）**
|
||
|
||
策略 $\pi(A \mid S)$ 可分解为：
|
||
$$\pi(A \mid S) = \sum_z P(A \mid Z) P(Z \mid S)$$
|
||
|
||
其中 $Z$ 是因果中介变量。
|
||
|
||
**定理 6.2（因果策略学习）**
|
||
|
||
在满足因果马尔可夫条件下，最优策略可表示为：
|
||
$$\pi^*(A \mid do(S)) = \arg\max_{\pi} \mathbb{E}\left[\sum_t \gamma^t R(S_t, A_t) \mid do(S_t)\right]$$
|
||
|
||
### 6.3 反事实后悔值（CFR）
|
||
|
||
**定义 6.2（反事实后悔值）**
|
||
|
||
在博弈论中，单动作瞬时遗憾（instantaneous regret）为：
|
||
$$R_t(h, a) = Q_t(h, a) - V_t(h), \quad V_t(h) = \mathbb{E}_a Q_t(h, a)$$
|
||
|
||
累积反事实后悔（counterfactual regret）为：
|
||
$$Regret_T(h, a) = \sum_{t=1}^T R_t(h, a)$$
|
||
|
||
策略更新依靠最小化累积后悔，而非直接最小化 $CFR$ 本身。
|
||
|
||
**算法 6.1（CFR 算法）**
|
||
|
||
1. 初始化所有信息集的值函数
|
||
2. 迭代计算反事实后悔值
|
||
3. 使用遗憾最小化更新策略
|
||
4. 应用反事实校正：考虑在每个信息集采取替代动作的结果
|
||
|
||
---
|
||
|
||
## 7. 与信息论的交叉
|
||
|
||
### 7.1 因果信息瓶颈（Causal IB）
|
||
|
||
**定义 7.1（信息瓶颈）**
|
||
|
||
给定观测变量 $X$ 和目标变量 $Y$，信息瓶颈目标：
|
||
$$\min_{T} I(X; T) - \beta I(T; Y)$$
|
||
|
||
其中 $T$ 是压缩表示。
|
||
|
||
**因果信息瓶颈扩展**：
|
||
|
||
在因果框架下：
|
||
$$\min_{T} I(X_{causal}; T) - \beta I(T; Y_{causal})$$
|
||
|
||
其中 $X_{causal}$ 和 $Y_{causal}$ 表示因果干预后的变量。
|
||
|
||
**定理 7.1（因果 IB 的最优性）**
|
||
|
||
因果信息瓶颈在学习因果表示时比标准信息瓶颈更具理论保证，特别是在分布迁移场景下。
|
||
|
||
### 7.2 因果马尔可夫条件与信息论
|
||
|
||
**定理 7.2（因果马尔可夫条件）**
|
||
|
||
在 SCM $\mathcal{M}$ 中，联合分布满足（已边际化外生变量 $\mathbf{U}$）：
|
||
$$P(\mathbf{V}) = \prod_{V_i \in \mathbf{V}} P(V_i \mid \mathbf{PA}_i)$$
|
||
|
||
等价于信息论表达：
|
||
$$H(\mathbf{V}) = \sum_{V_i} H(V_i \mid P_A(V_i))$$
|
||
|
||
**定义 7.2（因果熵）**
|
||
|
||
定义因果熵为：
|
||
$$H_{causal}(\mathbf{V}) = \sum_{V_i} I(P_A(V_i); V_i)$$
|
||
|
||
这量化了从父节点到子节点的信息传递。
|
||
|
||
**定理 7.3（因果充分性）**
|
||
|
||
若信息瓶颈表示 $T$ 满足：
|
||
$$T \perp P_A(T) \mid Y$$
|
||
|
||
则 $T$ 是因果充分的。
|
||
|
||
**因果条件互信息**：
|
||
|
||
$$I(X; Y \mid do(Z)) = \sum_{z} P(z) D(P(Y \mid X, do(Z) = z) \| P(Y \mid do(Z) = z))$$
|
||
|
||
---
|
||
|
||
## 附录
|
||
|
||
### A. 核心符号表
|
||
|
||
| 符号 | 含义 |
|
||
|------|------|
|
||
| $do(X = x)$ | 强制干预 $X$ 取值 $x$ |
|
||
| $Y_x$ | 反事实结果（$X = x$ 干预下的 $Y$） |
|
||
| $P(Y \mid do(X))$ | 干预分布 |
|
||
| $(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$ | d-分离 |
|
||
| ATE | 平均处理效应 |
|
||
| CATE | 条件平均处理效应 |
|
||
| SCM | 结构因果模型 |
|
||
| DAG | 有向无环图 |
|
||
| FCI | Fast Causal Inference |
|
||
|
||
### B. 主要参考文献
|
||
|
||
1. Pearl, J. (2009). *Causality: Models, Reasoning, and Inference* (2nd ed.). Cambridge University Press.
|
||
2. Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. *Journal of Educational Psychology*.
|
||
3. Spirtes, P., Glymour, C., & Scheines, R. (2000). *Causation, Prediction, and Search* (2nd ed.). MIT Press.
|
||
4. Peters, J., Janzing, D., & Schölkopf, B. (2017). *Elements of Causal Inference*. MIT Press.
|
||
5. Shpitser, I., & Pearl, J. (2006). Identification of conditional interventional distributions. *UAI*.
|
||
|
||
---
|
||
|
||
**笔记元信息**
|
||
|
||
- 创建日期：2026-05-14
|
||
- 面向对象：深度学习与强化学习科研人员
|
||
- 核心内容：因果推断数学基础、do-calculus、因果效应估计、反事实推理、因果发现算法、在 RL 中的应用、与信息论的交叉 |