Notes/机器学习/深度学习模型/0-基础知识/5-因果推断.md

title, tags

title	tags
5-因果推断	因果推断 统计学 机器学习 数学基础

因果推断（Causal Inference）

面向深度学习与强化学习科研人员的因果推断笔记 本笔记涵盖从结构因果模型到强化学习中因果应用的完整理论体系，重点在于数学推导与算法直觉。

---

目录

1. 因果模型基础
2. do-calculus
3. 因果效应估计
4. 反事实推理
5. 因果发现
6. 在强化学习中的应用
7. 与信息论的交叉

---

1. 因果模型基础

1.1 结构因果模型（Structural Causal Model, SCM）

定义 1.1（结构因果模型）

一个结构因果模型是一个四元组 $\mathcal{M} = (\mathbf{U}, \mathbf{V}, \mathbf{F}, P(\mathbf{U}))$，其中：

• $\mathbf{U} = {U_1, U_2, \ldots, U_m}$：外生变量（exogenous variables）集合，其概率分布 P(\mathbf{U}) 已给定
• $\mathbf{V} = {V_1, V_2, \ldots, V_n}$：内生变量（endogenous variables）集合，由模型内部变量确定
• $\mathbf{F} = {f_1, f_2, \ldots, f_n}$：一组结构方程，每个内生变量 V_i 表示为 V_i = f_i(\mathbf{PA}_i, U_i) 其中 \mathbf{PA}_i \subseteq \mathbf{V} \setminus \{V_i\} 是 V_i 的父变量集合，U_i \in \mathbf{U} 是独立的外生噪声

形式化定义：

X = f(P_A(X), U), \quad U \sim P(U)

其中 P_A(X) 表示变量 X 的所有父变量，U 为独立的外生变量。

示例：考虑一个简单模型 $X \to Y \to Z$，其结构方程为： $$\begin{aligned} X &= f_X(U_X) = U_X, \quad U_X \sim \text{Bernoulli}(0.5) \ Y &= f_Y(X, U_Y) = \mathbb{1}{X + U_Y > 0.5} \ Z &= f_Z(Y, U_Z) = Y + U_Z \end{aligned}$$

1.2 因果图与 d-分离

定义 1.2（有向无环图 DAG）

因果图是一个有向无环图 $\mathcal{G} = (\mathbf{V}, \mathbf{E})$，其中：

• 节点集 \mathbf{V} 对应变量集合
• 边 V_i \to V_j 表示 V_i 是 V_j 的直接原因

定义 1.3（路径与阻断）

给定 DAG \mathcal{G} 中的一条路径，考虑三种基本结构：

1. 链式结构（Chain）：A \to B \to C
2. 叉式结构（Fork）：$A \to B \leftarrow C$（B 是碰撞节点）
3. 碰撞结构（Collider）：A \to B \leftarrow C

定义 1.4（d-分离）

设 \mathbf{X}, \mathbf{Y}, \mathbf{Z} 为节点集 \mathbf{V} 的三个不相交子集。若路径 p 被 \mathbf{Z} 阻断，当且仅当：

1. 链式结构 $A \to B \to C$、叉式结构 $A \leftarrow B \to C$：中间节点 B \in \mathbf{Z} 时路径阻断；
2. 碰撞结构 $A \to B \leftarrow C$：当且仅当 B \notin \mathbf{Z} 且 B 的所有后代也都不在 \mathbf{Z} 中时，路径被阻断；换言之，观测 B 或其任意后代节点会打通碰撞路径。

若 \mathbf{Z} 阻断了 \mathbf{X} 和 \mathbf{Y} 之间的所有路径，则称 \mathbf{X} 和 \mathbf{Y} 被 \mathbf{Z} d-分离，记作：

(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}

核心规则：观测链/叉的中间节点阻断路径；观测碰撞结构的碰撞节点或其任意后裔则打通路径。

定理 1.1（d-分离与条件独立）

在概率分布满足马尔可夫性和忠实性假设下：

(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}} \iff P(\mathbf{X}, \mathbf{Y} \mid \mathbf{Z}) = P(\mathbf{X} \mid \mathbf{Z}) P(\mathbf{Y} \mid \mathbf{Z})

定理 1.2（全局马尔可夫性）

若 $(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$，则在联合分布 P(\mathbf{V}) 中，\mathbf{X} 与 \mathbf{Y} 在给定 \mathbf{Z} 时条件独立。

1.3 do 算子与干预

定义 1.5（干预分布）

do-算子表示对系统进行干预，将变量 X 固定为常数 $x$：

P(Y \mid do(X = x)) = P_{do(x)}(Y)

这与条件概率 P(Y \mid X = x) 有本质区别：

P(Y \mid do(X = x)) \neq P(Y \mid X = x)

示例说明混杂：

考虑 X \to Y 和 $Z \to X$，$Z \to Y$。若我们观察 X 与 Y 的相关性：

P(Y \mid X = x) = \sum_z P(Y \mid X = x, Z = z) P(Z = z \mid X = x)

但因果效应：

P(Y \mid do(X = x)) = \sum_z P(Y \mid X = x, Z = z) P(Z = z)

两者不相等，因为 Z 是 X 和 Y 的共同原因（混杂因子）。

定义 1.6（干预图）

对 DAG \mathcal{G} 进行干预 $do(X = x)$，得到干预图 $\mathcal{G}_x$：

• 删除所有指向 X 的边（X 被强制固定）
• 保留其他所有结构

---

2. do-calculus

2.1 Pearl's do-calculus 三条基本规则

设 \mathcal{G}_{\overline{X}} 为切掉 X 所有入边后的干预图，X,Y,Z,W 互不相交。

规则 1（插入/删除观测）

P(Y \mid do(X), Z, W) = P(Y \mid do(X), W)

成立条件：在 \mathcal{G}_{\overline{X}} 中 $Y \perp!!!\perp Z \mid X, W$。

规则 2（行动/观测交换——后门准则本源）

P(Y \mid do(X), Z) = P(Y \mid X, Z)

成立条件：原图 \mathcal{G} 中 X,Y 间所有后门路径被 Z 阻断。

规则 3（无效干预剔除） 若在 \mathcal{G}_{\overline{XZ}} 中 $Y \perp!!!\perp Z \mid X, W$，则：

P(Y \mid do(X), do(Z), W) = P(Y \mid do(X), W)

2.2 可识别性判定算法

定义 2.1（因果效应可识别性）

因果效应 P(Y \mid do(X = x)) 是可识别的，当且仅当它可以用观测分布 P(\mathbf{V}) 表示。

算法 2.1（因果效应识别算法）

输入：因果图 $\mathcal{G}$，干预目标 $X$，目标变量 Y 输出：P(Y \mid do(X)) 是否可识别及表达式

步骤 1：构建后门准则集合 寻找所有与 X 不相交且阻断所有 X \leftrightarrow Y 后门路径的集合 \mathbf{Z}

步骤 2：应用 do-calculus 规则 对于每个有效集合 $\mathbf{Z}$，应用规则：

P(Y \mid do(X)) = \sum_{\mathbf{Z}} P(Y \mid X, \mathbf{Z}) P(\mathbf{Z})

步骤 3：验证可识别性 若存在至少一个有效集合 $\mathbf{Z}$，则因果效应可识别；否则不可识别。

定理 2.1（可识别性充要条件）

P(Y \mid do(X = x)) 当且仅当满足以下条件之一：

1. 存在集合 \mathbf{Z} 阻断所有 X 到 Y 的后门路径
2. 通过有限次应用 do-calculus 规则可将其转化为仅包含观测分布的表达式

定理 2.2（后门准则）

令 \mathbf{Z} 为一组节点。若：

1. \mathbf{Z} 不包含 X 的任何后代
2. \mathbf{Z} 阻断 X 与 Y 之间的每条后门路径

则：

P(Y \mid do(X)) = \sum_{\mathbf{Z}} P(Y \mid X, \mathbf{Z}) P(\mathbf{Z})

---

3. 因果效应估计

3.1 潜在结果框架（Rubin Causal Model）

定义 3.1（潜在结果）

对于每个个体 $i$，定义：

• $Y_i(1)$：接受处理 X_i = 1 的潜在结果
• $Y_i(0)$：接受处理 X_i = 0 的潜在结果
• $Y_i$：实际观察到的结果，满足 Y_i = Y_i(X_i)

3.2 ATE、ATT 与 CATE

定义 3.2（平均处理效应 ATE）

\text{ATE} = \mathbb{E}[Y_1 - Y_0] = \mathbb{E}[Y(1) - Y(0)]

其中期望是对总体分布取的。

定义 3.3（处理组的平均处理效应 ATT）

\text{ATT} = \mathbb{E}[Y_1 - Y_0 \mid X = 1] = \mathbb{E}[Y(1) - Y(0) \mid X = 1]

定义 3.4（条件平均处理效应 CATE）

设 Z 为协变量，X \in \{0,1\} 为二元处理变量：

\text{CATE}(z) = \mathbb{E}[Y(1) - Y(0) \mid Z = z]

也称为异质处理效应（HTE），是个性化推荐和精准医疗的核心概念。

3.3 混杂问题

定义 3.5（混杂因子）

变量 Z 是 X 与 Y 之间的混杂因子，当且仅当：

1. Z \to X 且 $Z \to Y$（Z 是两者的共同原因）
2. Z 开启了 X 与 Y 之间的后门路径（是造成观测相关性 ≠ 因果效应的根源）

问题（混杂偏倚）：

P(Y \mid X = x) = \sum_z P(Y \mid X = x, Z = z) P(Z = z) \neq P(Y \mid do(X = x))

当存在未观测的混杂因子时，ATE 不可识别。

定理 3.1（混杂偏倚表达式）

定义混杂偏倚为：

\text{Bias} = P(Y \mid X = x) - P(Y \mid do(X = x))

则有：

P(Y \mid X = x) = \sum_z P(Y \mid do(X = x), Z = z) P(Z = z \mid X = x)

识别公式：

若满足 ignorability（无未观测混杂）：

Y(0), Y(1) \perp X \mid Z

则：

\text{ATE} = \mathbb{E}_Z[\mathbb{E}[Y \mid X = 1, Z] - \mathbb{E}[Y \mid X = 0, Z]]

3.4 因果效应估计方法

公式 3.1（逆倾向加权 IPW）

二元处理 ATE 的 IPW 估计：

\text{ATE} = \mathbb{E}\left[\frac{XY}{e(Z)}\right] - \mathbb{E}\left[\frac{(1-X)Y}{1-e(Z)}\right], \quad e(Z) = P(X=1 \mid Z)

干预分布的后门调整形式：

P(Y \mid do(X=x)) = \mathbb{E}_Z[\mathbb{E}[Y \mid X=x, Z]]

公式 3.2（回归估计）

通过回归模型直接估计：

\hat{\text{ATE}} = \frac{1}{n} \sum_{i=1}^n \left(\hat{\mathbb{E}}[Y \mid X = 1, Z_i] - \hat{\mathbb{E}}[Y \mid X = 0, Z_i]\right)

---

4. 反事实推理

4.1 反事实的定义与潜在结果框架

定义 4.1（反事实结果）

在结构因果模型中，反事实结果 Y_x 表示：当干预 do(X = x) 发生时，Y 会取的值。

对于特定个体 $u$：

Y_x(u) = f_Y(\mathbf{PA}_{\mathcal{G}_x}(Y), u)

其中 \mathbf{PA}_{\mathcal{G}_x}(Y) 表示在干预图 \mathcal{G}_x 下 Y 的父节点集合。

4.2 反事实的概率解释

定理 4.1（反事实概率公式）

P(Y_x = y) = \sum_u P(Y_x = y \mid U = u) P(U = u)

其中 U 是外生变量（不可观测的潜在因子）。

推导：

由全概率公式： $$\begin{aligned} P(Y_x = y) &= \sum_u P(Y_x = y, U = u) \ &= \sum_u P(Y_x = y \mid U = u) P(U = u) \quad \text{（边际化）} \end{aligned}$$

定理 4.2（反事实的条件概率）

P(Y_x = y \mid X = x') = \sum_u P(Y_x = y \mid U = u, X = x') P(U = u \mid X = x')

当 x \neq x' 时，这表示反事实条件概率。

4.3 与贝叶斯网络的关系

定理 4.3（贝叶斯网络中的反事实）

在贝叶斯网络中，给定观测证据 $E = e$，反事实推理计算：

P(Y_{x} = y \mid E = e)

这涉及：

1. 证据传播：计算后验 P(U \mid E = e)
2. 干预更新：修改网络结构为 do(X = x)
3. 边际化：对 U 求和

结构因果模型与贝叶斯网络的区别：

特征	SCM	贝叶斯网络
干预处理	通过修改结构方程	需要重新参数化
反事实推理	自然支持	需要额外机制
因果语义	显式	隐式

4.4 反事实的算法实现

算法 4.1（反事实采样算法）

1. 从观测数据中推断外生变量后验：P(U \mid \text{观测})
2. 对每个样本 $u$，计算反事实结果：Y_x(u) = f_Y(\mathbf{PA}_{\mathcal{G}_x}(Y), u)
3. 聚合所有反事实结果得到分布：P(Y_x = y)

---

5. 因果发现

5.1 PC 算法

算法 5.1（PC 算法 - 因果骨架发现 + 方向标注）

输入：观测数据 \mathbf{D} = \{X_1, X_2, \ldots, X_n\} 输出：等价类因果 DAG

阶段 1：骨架发现

1. 初始化完全无向图 \mathcal{G}
2. 对每个节点对 $(X_i, X_j)$，检验条件独立性 X_i \perp X_j \mid \mathbf{S}
3. 若条件独立，删除边并记录分离集 \mathbf{S}_{ij}
4. 逐步增加条件集大小（从 0 到 $k$），直到达到最大深度

阶段 2：方向标注

1. 应用 v-结构准则：对非相邻节点对 $(X_i, X_j)$，若 X_i 和 X_j 有共同邻居 $X_k$，且 $X_k \in \mathbf{S}_{ij}$，则标注方向 X_i \to X_k \leftarrow X_j
2. 应用 Meek 规则扩展方向：
   • 规则 R1：若 X_i \to X_j - X_k 且 $X_i \perp X_k \mid X_j$，则 X_j \to X_k
   • 规则 R2：若 X_i \to X_j \to X_k 且 $X_i - X_k$，则 X_i \to X_k

定理 5.1（PC 算法完备性）

PC 算法返回的因果图与真实因果图在 d-分离意义上等价。

5.2 FCI 算法

算法 5.2（FCI 算法 - 面向潜变量）

当存在未观测的混杂因子时，PC 算法可能失效。FCI 算法通过引入可能集合（possible set）处理不确定性。

主要修改：

1. 骨架发现阶段使用更保守的条件独立性检验
2. 使用可能父母（possible parents）和可能后代（possible descendants）集合
3. 最终输出部分方向图（PAG）

5.3 评分搜索方法

定义 5.1（BIC 评分函数）

对于候选 DAG $\mathcal{G}$：

\text{BIC}(\mathcal{G}) = \log L(\mathcal{G} \mid \mathbf{D}) - \frac{d(\mathcal{G})}{2} \log n

其中 L 是似然函数，d(\mathcal{G}) 是模型自由参数个数，n 是样本量。

算法 5.3（稀疏 DAG 发现）

1. 初始化空图或稀疏图
2. 使用局部搜索算子（添加边、删除边、反转边）
3. 每步选择使 BIC 评分增加的操作
4. 继续直到收敛或达到最大迭代次数

定理 5.2（渐近一致性）

在样本量趋于无穷时，若真实因果图是稀疏的，则 BIC 评分搜索方法以概率 1 恢复真实图结构。

5.4 因果发现与因果推断的关系

定理 5.3（因果可识别性与因果发现）

因果发现解决的的问题是：从观测数据恢复因果结构。

因果推断解决的问题是：在已知因果结构下，从数据估计因果效应。

两者关系：

• 因果发现提供因果结构 \mathcal{G}
• 因果推断利用 \mathcal{G} 识别和估计 P(Y \mid do(X))

---

6. 在强化学习中的应用

6.1 离线 RL 中的因果混淆

问题定义：

在离线强化学习中，观测数据 (S_t, A_t, R_t, S_{t+1}) 由某一行为策略 \pi_\beta 生成。状态转移 P(S_{t+1} \mid S_t, A_t) 可能存在未观测的混杂因子。

因果分析：

考虑状态 $S$、动作 $A$、奖励 $R$、下一状态 $S'$。若存在未观测变量 U 同时影响 A 和 $S'$，则：

P(S' \mid do(A)) \neq P(S' \mid A)

定理 6.1（离线 RL 中的混淆偏倚）

价值估计存在以下偏倚：

V^{\pi}(s) = \mathbb{E}[R \mid do(A) \sim \pi, do(S) = s] \neq \mathbb{E}[R \mid A \sim \pi, S = s]

解决方案：

1. 加权重要性采样：修正混杂效应
2. 因果反事实校正：利用 $do$-calculus 识别真实转移

6.2 Causal RL：基于因果的策略表示

定义 6.1（因果策略）

策略 \pi(A \mid S) 可分解为：

\pi(A \mid S) = \sum_z P(A \mid Z) P(Z \mid S)

其中 Z 是因果中介变量。

定理 6.2（因果策略学习）

在满足因果马尔可夫条件下，最优策略可表示为：

\pi^*(A \mid do(S)) = \arg\max_{\pi} \mathbb{E}\left[\sum_t \gamma^t R(S_t, A_t) \mid do(S_t)\right]

6.3 反事实后悔值（CFR）

定义 6.2（反事实后悔值）

在博弈论中，单动作瞬时遗憾（instantaneous regret）为：

R_t(h, a) = Q_t(h, a) - V_t(h), \quad V_t(h) = \mathbb{E}_a Q_t(h, a)

累积反事实后悔（counterfactual regret）为：

Regret_T(h, a) = \sum_{t=1}^T R_t(h, a)

策略更新依靠最小化累积后悔，而非直接最小化 CFR 本身。

算法 6.1（CFR 算法）

1. 初始化所有信息集的值函数
2. 迭代计算反事实后悔值
3. 使用遗憾最小化更新策略
4. 应用反事实校正：考虑在每个信息集采取替代动作的结果

---

7. 与信息论的交叉

7.1 因果信息瓶颈（Causal IB）

定义 7.1（信息瓶颈）

给定观测变量 X 和目标变量 $Y$，信息瓶颈目标：

\min_{T} I(X; T) - \beta I(T; Y)

其中 T 是压缩表示。

因果信息瓶颈扩展：

在因果框架下：

\min_{T} I(X_{causal}; T) - \beta I(T; Y_{causal})

其中 X_{causal} 和 Y_{causal} 表示因果干预后的变量。

定理 7.1（因果 IB 的最优性）

因果信息瓶颈在学习因果表示时比标准信息瓶颈更具理论保证，特别是在分布迁移场景下。

7.2 因果马尔可夫条件与信息论

定理 7.2（因果马尔可夫条件）

在 SCM \mathcal{M} 中，联合分布满足（已边际化外生变量 $\mathbf{U}$）：

P(\mathbf{V}) = \prod_{V_i \in \mathbf{V}} P(V_i \mid \mathbf{PA}_i)

等价于信息论表达：

H(\mathbf{V}) = \sum_{V_i} H(V_i \mid P_A(V_i))

定义 7.2（因果熵）

定义因果熵为：

H_{causal}(\mathbf{V}) = \sum_{V_i} I(P_A(V_i); V_i)

这量化了从父节点到子节点的信息传递。

定理 7.3（因果充分性）

若信息瓶颈表示 T 满足：

T \perp P_A(T) \mid Y

则 T 是因果充分的。

因果条件互信息：

I(X; Y \mid do(Z)) = \sum_{z} P(z) D(P(Y \mid X, do(Z) = z) \| P(Y \mid do(Z) = z))

---

附录

A. 核心符号表

符号	含义
do(X = x)	强制干预 X 取值 x
Y_x	反事实结果（X = x 干预下的 $Y$）
P(Y \mid do(X))	干预分布
(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}	d-分离
ATE	平均处理效应
CATE	条件平均处理效应
SCM	结构因果模型
DAG	有向无环图
FCI	Fast Causal Inference

B. 主要参考文献

1. Pearl, J. (2009). Causality: Models, Reasoning, and Inference (2nd ed.). Cambridge University Press.
2. Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology.
3. Spirtes, P., Glymour, C., & Scheines, R. (2000). Causation, Prediction, and Search (2nd ed.). MIT Press.
4. Peters, J., Janzing, D., & Schölkopf, B. (2017). Elements of Causal Inference. MIT Press.
5. Shpitser, I., & Pearl, J. (2006). Identification of conditional interventional distributions. UAI.

---

笔记元信息

• 创建日期：2026-05-14
• 面向对象：深度学习与强化学习科研人员
• 核心内容：因果推断数学基础、do-calculus、因果效应估计、反事实推理、因果发现算法、在 RL 中的应用、与信息论的交叉