---
title: 5-因果推断
tags:
  - 因果推断
  - 统计学
  - 机器学习
  - 数学基础
---

# 因果推断（Causal Inference）

> **面向深度学习与强化学习科研人员的因果推断笔记**
> 本笔记涵盖从结构因果模型到强化学习中因果应用的完整理论体系，重点在于数学推导与算法直觉。

---

## 目录

1. [因果模型基础](#1-因果模型基础)
2. [do-calculus](#2-do-calculus)
3. [因果效应估计](#3-因果效应估计)
4. [反事实推理](#4-反事实推理)
5. [因果发现](#5-因果发现)
6. [在强化学习中的应用](#6-在强化学习中的应用)
7. [与信息论的交叉](#7-与信息论的交叉)

---

## 1. 因果模型基础

### 1.1 结构因果模型（Structural Causal Model, SCM）

**定义 1.1（结构因果模型）**

一个结构因果模型是一个四元组 $\mathcal{M} = (\mathbf{U}, \mathbf{V}, \mathbf{F}, P(\mathbf{U}))$，其中：

- $\mathbf{U} = \{U_1, U_2, \ldots, U_m\}$：外生变量（exogenous variables）集合，其概率分布 $P(\mathbf{U})$ 已给定
- $\mathbf{V} = \{V_1, V_2, \ldots, V_n\}$：内生变量（endogenous variables）集合，由模型内部变量确定
- $\mathbf{F} = \{f_1, f_2, \ldots, f_n\}$：一组结构方程，每个内生变量 $V_i$ 表示为
  $$V_i = f_i(\mathbf{PA}_i, U_i)$$
  其中 $\mathbf{PA}_i \subseteq \mathbf{V} \setminus \{V_i\}$ 是 $V_i$ 的父变量集合，$U_i \in \mathbf{U}$ 是独立的外生噪声

**形式化定义**：

$$X = f(P_A(X), U), \quad U \sim P(U)$$

其中 $P_A(X)$ 表示变量 $X$ 的所有父变量，$U$ 为独立的外生变量。

**示例**：考虑一个简单模型 $X \to Y \to Z$，其结构方程为：
$$\begin{aligned}
X &= f_X(U_X) = U_X, \quad U_X \sim \text{Bernoulli}(0.5) \\
Y &= f_Y(X, U_Y) = \mathbb{1}\{X + U_Y > 0.5\} \\
Z &= f_Z(Y, U_Z) = Y + U_Z
\end{aligned}$$

### 1.2 因果图与 d-分离

**定义 1.2（有向无环图 DAG）**

因果图是一个有向无环图 $\mathcal{G} = (\mathbf{V}, \mathbf{E})$，其中：
- 节点集 $\mathbf{V}$ 对应变量集合
- 边 $V_i \to V_j$ 表示 $V_i$ 是 $V_j$ 的直接原因

**定义 1.3（路径与阻断）**

给定 DAG $\mathcal{G}$ 中的一条路径，考虑三种基本结构：

1. **链式结构**（Chain）：$A \to B \to C$
2. **叉式结构**（Fork）：$A \to B \leftarrow C$（$B$ 是碰撞节点）
3. **碰撞结构**（Collider）：$A \to B \leftarrow C$

**定义 1.4（d-分离）**

设 $\mathbf{X}, \mathbf{Y}, \mathbf{Z}$ 为节点集 $\mathbf{V}$ 的三个不相交子集。若路径 $p$ 被 $\mathbf{Z}$ 阻断，当且仅当：

1. 链式结构 $A \to B \to C$、叉式结构 $A \leftarrow B \to C$：**中间节点 $B \in \mathbf{Z}$ 时路径阻断**；
2. 碰撞结构 $A \to B \leftarrow C$：**当且仅当 $B \notin \mathbf{Z}$ 且 $B$ 的所有后代也都不在 $\mathbf{Z}$ 中时，路径被阻断**；换言之，观测 $B$ 或其任意后代节点会**打通**碰撞路径。

若 $\mathbf{Z}$ 阻断了 $\mathbf{X}$ 和 $\mathbf{Y}$ 之间的所有路径，则称 $\mathbf{X}$ 和 $\mathbf{Y}$ 被 $\mathbf{Z}$ **d-分离**，记作：
$$(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$$

**核心规则**：观测链/叉的**中间节点**阻断路径；观测碰撞结构的**碰撞节点或其任意后裔**则打通路径。

**定理 1.1（d-分离与条件独立）**

在概率分布满足马尔可夫性和忠实性假设下：
$$(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}} \iff P(\mathbf{X}, \mathbf{Y} \mid \mathbf{Z}) = P(\mathbf{X} \mid \mathbf{Z}) P(\mathbf{Y} \mid \mathbf{Z})$$

**定理 1.2（全局马尔可夫性）**

若 $(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$，则在联合分布 $P(\mathbf{V})$ 中，$\mathbf{X}$ 与 $\mathbf{Y}$ 在给定 $\mathbf{Z}$ 时条件独立。

### 1.3 do 算子与干预

**定义 1.5（干预分布）**

do-算子表示对系统进行干预，将变量 $X$ 固定为常数 $x$：
$$P(Y \mid do(X = x)) = P_{do(x)}(Y)$$

这与条件概率 $P(Y \mid X = x)$ 有本质区别：
$$P(Y \mid do(X = x)) \neq P(Y \mid X = x)$$

**示例说明混杂**：

考虑 $X \to Y$ 和 $Z \to X$，$Z \to Y$。若我们观察 $X$ 与 $Y$ 的相关性：
$$P(Y \mid X = x) = \sum_z P(Y \mid X = x, Z = z) P(Z = z \mid X = x)$$
但因果效应：
$$P(Y \mid do(X = x)) = \sum_z P(Y \mid X = x, Z = z) P(Z = z)$$

两者不相等，因为 $Z$ 是 $X$ 和 $Y$ 的共同原因（混杂因子）。

**定义 1.6（干预图）**

对 DAG $\mathcal{G}$ 进行干预 $do(X = x)$，得到干预图 $\mathcal{G}_x$：
- 删除所有指向 $X$ 的边（$X$ 被强制固定）
- 保留其他所有结构

---

## 2. do-calculus

### 2.1 Pearl's do-calculus 三条基本规则

设 $\mathcal{G}_{\overline{X}}$ 为切掉 $X$ 所有入边后的干预图，$X,Y,Z,W$ 互不相交。

**规则 1（插入/删除观测）**
$$P(Y \mid do(X), Z, W) = P(Y \mid do(X), W)$$
成立条件：在 $\mathcal{G}_{\overline{X}}$ 中 $Y \perp\!\!\!\perp Z \mid X, W$。

**规则 2（行动/观测交换——后门准则本源）**
$$P(Y \mid do(X), Z) = P(Y \mid X, Z)$$
成立条件：原图 $\mathcal{G}$ 中 $X,Y$ 间所有后门路径被 $Z$ 阻断。

**规则 3（无效干预剔除）**
若在 $\mathcal{G}_{\overline{XZ}}$ 中 $Y \perp\!\!\!\perp Z \mid X, W$，则：
$$P(Y \mid do(X), do(Z), W) = P(Y \mid do(X), W)$$

### 2.2 可识别性判定算法

**定义 2.1（因果效应可识别性）**

因果效应 $P(Y \mid do(X = x))$ 是可识别的，当且仅当它可以用观测分布 $P(\mathbf{V})$ 表示。

**算法 2.1（因果效应识别算法）**

输入：因果图 $\mathcal{G}$，干预目标 $X$，目标变量 $Y$
输出：$P(Y \mid do(X))$ 是否可识别及表达式

**步骤 1**：构建后门准则集合
寻找所有与 $X$ 不相交且阻断所有 $X \leftrightarrow Y$ 后门路径的集合 $\mathbf{Z}$

**步骤 2**：应用 do-calculus 规则
对于每个有效集合 $\mathbf{Z}$，应用规则：
$$P(Y \mid do(X)) = \sum_{\mathbf{Z}} P(Y \mid X, \mathbf{Z}) P(\mathbf{Z})$$

**步骤 3**：验证可识别性
若存在至少一个有效集合 $\mathbf{Z}$，则因果效应可识别；否则不可识别。

**定理 2.1（可识别性充要条件）**

$P(Y \mid do(X = x))$ 当且仅当满足以下条件之一：
1. 存在集合 $\mathbf{Z}$ 阻断所有 $X$ 到 $Y$ 的后门路径
2. 通过有限次应用 do-calculus 规则可将其转化为仅包含观测分布的表达式

**定理 2.2（后门准则）**

令 $\mathbf{Z}$ 为一组节点。若：
1. $\mathbf{Z}$ 不包含 $X$ 的任何后代
2. $\mathbf{Z}$ 阻断 $X$ 与 $Y$ 之间的每条后门路径

则：
$$P(Y \mid do(X)) = \sum_{\mathbf{Z}} P(Y \mid X, \mathbf{Z}) P(\mathbf{Z})$$

---

## 3. 因果效应估计

### 3.1 潜在结果框架（Rubin Causal Model）

**定义 3.1（潜在结果）**

对于每个个体 $i$，定义：
- $Y_i(1)$：接受处理 $X_i = 1$ 的潜在结果
- $Y_i(0)$：接受处理 $X_i = 0$ 的潜在结果
- $Y_i$：实际观察到的结果，满足 $Y_i = Y_i(X_i)$

### 3.2 ATE、ATT 与 CATE

**定义 3.2（平均处理效应 ATE）**

$$\text{ATE} = \mathbb{E}[Y_1 - Y_0] = \mathbb{E}[Y(1) - Y(0)]$$

其中期望是对总体分布取的。

**定义 3.3（处理组的平均处理效应 ATT）**

$$\text{ATT} = \mathbb{E}[Y_1 - Y_0 \mid X = 1] = \mathbb{E}[Y(1) - Y(0) \mid X = 1]$$

**定义 3.4（条件平均处理效应 CATE）**

设 $Z$ 为协变量，$X \in \{0,1\}$ 为二元处理变量：
$$\text{CATE}(z) = \mathbb{E}[Y(1) - Y(0) \mid Z = z]$$

也称为异质处理效应（HTE），是个性化推荐和精准医疗的核心概念。

### 3.3 混杂问题

**定义 3.5（混杂因子）**

变量 $Z$ 是 $X$ 与 $Y$ 之间的混杂因子，当且仅当：
1. $Z \to X$ 且 $Z \to Y$（$Z$ 是两者的共同原因）
2. $Z$ **开启了** $X$ 与 $Y$ 之间的后门路径（是造成观测相关性 ≠ 因果效应的根源）

**问题（混杂偏倚）**：

$$P(Y \mid X = x) = \sum_z P(Y \mid X = x, Z = z) P(Z = z) \neq P(Y \mid do(X = x))$$

当存在未观测的混杂因子时，ATE 不可识别。

**定理 3.1（混杂偏倚表达式）**

定义混杂偏倚为：
$$\text{Bias} = P(Y \mid X = x) - P(Y \mid do(X = x))$$

则有：
$$P(Y \mid X = x) = \sum_z P(Y \mid do(X = x), Z = z) P(Z = z \mid X = x)$$

**识别公式**：

若满足 ignorability（无未观测混杂）：
$$Y(0), Y(1) \perp X \mid Z$$

则：
$$\text{ATE} = \mathbb{E}_Z[\mathbb{E}[Y \mid X = 1, Z] - \mathbb{E}[Y \mid X = 0, Z]]$$

### 3.4 因果效应估计方法

**公式 3.1（逆倾向加权 IPW）**

二元处理 ATE 的 IPW 估计：
$$\text{ATE} = \mathbb{E}\left[\frac{XY}{e(Z)}\right] - \mathbb{E}\left[\frac{(1-X)Y}{1-e(Z)}\right], \quad e(Z) = P(X=1 \mid Z)$$

干预分布的后门调整形式：
$$P(Y \mid do(X=x)) = \mathbb{E}_Z[\mathbb{E}[Y \mid X=x, Z]]$$

**公式 3.2（回归估计）**

通过回归模型直接估计：
$$\hat{\text{ATE}} = \frac{1}{n} \sum_{i=1}^n \left(\hat{\mathbb{E}}[Y \mid X = 1, Z_i] - \hat{\mathbb{E}}[Y \mid X = 0, Z_i]\right)$$

---

## 4. 反事实推理

### 4.1 反事实的定义与潜在结果框架

**定义 4.1（反事实结果）**

在结构因果模型中，反事实结果 $Y_x$ 表示：当干预 $do(X = x)$ 发生时，$Y$ 会取的值。

对于特定个体 $u$：
$$Y_x(u) = f_Y(\mathbf{PA}_{\mathcal{G}_x}(Y), u)$$

其中 $\mathbf{PA}_{\mathcal{G}_x}(Y)$ 表示在干预图 $\mathcal{G}_x$ 下 $Y$ 的父节点集合。

### 4.2 反事实的概率解释

**定理 4.1（反事实概率公式）**

$$P(Y_x = y) = \sum_u P(Y_x = y \mid U = u) P(U = u)$$

其中 $U$ 是外生变量（不可观测的潜在因子）。

**推导**：

由全概率公式：
$$\begin{aligned}
P(Y_x = y) &= \sum_u P(Y_x = y, U = u) \\
&= \sum_u P(Y_x = y \mid U = u) P(U = u) \quad \text{（边际化）}
\end{aligned}$$

**定理 4.2（反事实的条件概率）**

$$P(Y_x = y \mid X = x') = \sum_u P(Y_x = y \mid U = u, X = x') P(U = u \mid X = x')$$

当 $x \neq x'$ 时，这表示反事实条件概率。

### 4.3 与贝叶斯网络的关系

**定理 4.3（贝叶斯网络中的反事实）**

在贝叶斯网络中，给定观测证据 $E = e$，反事实推理计算：
$$P(Y_{x} = y \mid E = e)$$

这涉及：
1. **证据传播**：计算后验 $P(U \mid E = e)$
2. **干预更新**：修改网络结构为 $do(X = x)$
3. **边际化**：对 $U$ 求和

**结构因果模型与贝叶斯网络的区别**：

| 特征 | SCM | 贝叶斯网络 |
|------|-----|-----------|
| 干预处理 | 通过修改结构方程 | 需要重新参数化 |
| 反事实推理 | 自然支持 | 需要额外机制 |
| 因果语义 | 显式 | 隐式 |

### 4.4 反事实的算法实现

**算法 4.1（反事实采样算法）**

1. 从观测数据中推断外生变量后验：$P(U \mid \text{观测})$
2. 对每个样本 $u$，计算反事实结果：$Y_x(u) = f_Y(\mathbf{PA}_{\mathcal{G}_x}(Y), u)$
3. 聚合所有反事实结果得到分布：$P(Y_x = y)$

---

## 5. 因果发现

### 5.1 PC 算法

**算法 5.1（PC 算法 - 因果骨架发现 + 方向标注）**

**输入**：观测数据 $\mathbf{D} = \{X_1, X_2, \ldots, X_n\}$
**输出**：等价类因果 DAG

**阶段 1：骨架发现**

1. 初始化完全无向图 $\mathcal{G}$
2. 对每个节点对 $(X_i, X_j)$，检验条件独立性 $X_i \perp X_j \mid \mathbf{S}$
3. 若条件独立，删除边并记录分离集 $\mathbf{S}_{ij}$
4. 逐步增加条件集大小（从 0 到 $k$），直到达到最大深度

**阶段 2：方向标注**

1. 应用 v-结构准则：对非相邻节点对 $(X_i, X_j)$，若 $X_i$ 和 $X_j$ 有共同邻居 $X_k$，且 $X_k \in \mathbf{S}_{ij}$，则标注方向 $X_i \to X_k \leftarrow X_j$
2. 应用 Meek 规则扩展方向：
   - 规则 R1：若 $X_i \to X_j - X_k$ 且 $X_i \perp X_k \mid X_j$，则 $X_j \to X_k$
   - 规则 R2：若 $X_i \to X_j \to X_k$ 且 $X_i - X_k$，则 $X_i \to X_k$

**定理 5.1（PC 算法完备性）**

PC 算法返回的因果图与真实因果图在 d-分离意义上等价。

### 5.2 FCI 算法

**算法 5.2（FCI 算法 - 面向潜变量）**

当存在未观测的混杂因子时，PC 算法可能失效。FCI 算法通过引入可能集合（possible set）处理不确定性。

**主要修改**：

1. 骨架发现阶段使用更保守的条件独立性检验
2. 使用可能父母（possible parents）和可能后代（possible descendants）集合
3. 最终输出部分方向图（PAG）

### 5.3 评分搜索方法

**定义 5.1（BIC 评分函数）**

对于候选 DAG $\mathcal{G}$：
$$\text{BIC}(\mathcal{G}) = \log L(\mathcal{G} \mid \mathbf{D}) - \frac{d(\mathcal{G})}{2} \log n$$

其中 $L$ 是似然函数，$d(\mathcal{G})$ 是模型自由参数个数，$n$ 是样本量。

**算法 5.3（稀疏 DAG 发现）**

1. 初始化空图或稀疏图
2. 使用局部搜索算子（添加边、删除边、反转边）
3. 每步选择使 BIC 评分增加的操作
4. 继续直到收敛或达到最大迭代次数

**定理 5.2（渐近一致性）**

在样本量趋于无穷时，若真实因果图是稀疏的，则 BIC 评分搜索方法以概率 1 恢复真实图结构。

### 5.4 因果发现与因果推断的关系

**定理 5.3（因果可识别性与因果发现）**

因果发现解决的的问题是：从观测数据恢复因果结构。

因果推断解决的问题是：在已知因果结构下，从数据估计因果效应。

两者关系：
- 因果发现提供因果结构 $\mathcal{G}$
- 因果推断利用 $\mathcal{G}$ 识别和估计 $P(Y \mid do(X))$

---

## 6. 在强化学习中的应用

### 6.1 离线 RL 中的因果混淆

**问题定义**：

在离线强化学习中，观测数据 $(S_t, A_t, R_t, S_{t+1})$ 由某一行为策略 $\pi_\beta$ 生成。状态转移 $P(S_{t+1} \mid S_t, A_t)$ 可能存在未观测的混杂因子。

**因果分析**：

考虑状态 $S$、动作 $A$、奖励 $R$、下一状态 $S'$。若存在未观测变量 $U$ 同时影响 $A$ 和 $S'$，则：
$$P(S' \mid do(A)) \neq P(S' \mid A)$$

**定理 6.1（离线 RL 中的混淆偏倚）**

价值估计存在以下偏倚：
$$V^{\pi}(s) = \mathbb{E}[R \mid do(A) \sim \pi, do(S) = s] \neq \mathbb{E}[R \mid A \sim \pi, S = s]$$

**解决方案**：

1. **加权重要性采样**：修正混杂效应
2. **因果反事实校正**：利用 $do$-calculus 识别真实转移

### 6.2 Causal RL：基于因果的策略表示

**定义 6.1（因果策略）**

策略 $\pi(A \mid S)$ 可分解为：
$$\pi(A \mid S) = \sum_z P(A \mid Z) P(Z \mid S)$$

其中 $Z$ 是因果中介变量。

**定理 6.2（因果策略学习）**

在满足因果马尔可夫条件下，最优策略可表示为：
$$\pi^*(A \mid do(S)) = \arg\max_{\pi} \mathbb{E}\left[\sum_t \gamma^t R(S_t, A_t) \mid do(S_t)\right]$$

### 6.3 反事实后悔值（CFR）

**定义 6.2（反事实后悔值）**

在博弈论中，单动作瞬时遗憾（instantaneous regret）为：
$$R_t(h, a) = Q_t(h, a) - V_t(h), \quad V_t(h) = \mathbb{E}_a Q_t(h, a)$$

累积反事实后悔（counterfactual regret）为：
$$Regret_T(h, a) = \sum_{t=1}^T R_t(h, a)$$

策略更新依靠最小化累积后悔，而非直接最小化 $CFR$ 本身。

**算法 6.1（CFR 算法）**

1. 初始化所有信息集的值函数
2. 迭代计算反事实后悔值
3. 使用遗憾最小化更新策略
4. 应用反事实校正：考虑在每个信息集采取替代动作的结果

---

## 7. 与信息论的交叉

### 7.1 因果信息瓶颈（Causal IB）

**定义 7.1（信息瓶颈）**

给定观测变量 $X$ 和目标变量 $Y$，信息瓶颈目标：
$$\min_{T} I(X; T) - \beta I(T; Y)$$

其中 $T$ 是压缩表示。

**因果信息瓶颈扩展**：

在因果框架下：
$$\min_{T} I(X_{causal}; T) - \beta I(T; Y_{causal})$$

其中 $X_{causal}$ 和 $Y_{causal}$ 表示因果干预后的变量。

**定理 7.1（因果 IB 的最优性）**

因果信息瓶颈在学习因果表示时比标准信息瓶颈更具理论保证，特别是在分布迁移场景下。

### 7.2 因果马尔可夫条件与信息论

**定理 7.2（因果马尔可夫条件）**

在 SCM $\mathcal{M}$ 中，联合分布满足（已边际化外生变量 $\mathbf{U}$）：
$$P(\mathbf{V}) = \prod_{V_i \in \mathbf{V}} P(V_i \mid \mathbf{PA}_i)$$

等价于信息论表达：
$$H(\mathbf{V}) = \sum_{V_i} H(V_i \mid P_A(V_i))$$

**定义 7.2（因果熵）**

定义因果熵为：
$$H_{causal}(\mathbf{V}) = \sum_{V_i} I(P_A(V_i); V_i)$$

这量化了从父节点到子节点的信息传递。

**定理 7.3（因果充分性）**

若信息瓶颈表示 $T$ 满足：
$$T \perp P_A(T) \mid Y$$

则 $T$ 是因果充分的。

**因果条件互信息**：

$$I(X; Y \mid do(Z)) = \sum_{z} P(z) D(P(Y \mid X, do(Z) = z) \| P(Y \mid do(Z) = z))$$

---

## 附录

### A. 核心符号表

| 符号 | 含义 |
|------|------|
| $do(X = x)$ | 强制干预 $X$ 取值 $x$ |
| $Y_x$ | 反事实结果（$X = x$ 干预下的 $Y$） |
| $P(Y \mid do(X))$ | 干预分布 |
| $(\mathbf{X} \perp \mathbf{Y} \mid \mathbf{Z})_{\mathcal{G}}$ | d-分离 |
| ATE | 平均处理效应 |
| CATE | 条件平均处理效应 |
| SCM | 结构因果模型 |
| DAG | 有向无环图 |
| FCI | Fast Causal Inference |

### B. 主要参考文献

1. Pearl, J. (2009). *Causality: Models, Reasoning, and Inference* (2nd ed.). Cambridge University Press.
2. Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. *Journal of Educational Psychology*.
3. Spirtes, P., Glymour, C., & Scheines, R. (2000). *Causation, Prediction, and Search* (2nd ed.). MIT Press.
4. Peters, J., Janzing, D., & Schölkopf, B. (2017). *Elements of Causal Inference*. MIT Press.
5. Shpitser, I., & Pearl, J. (2006). Identification of conditional interventional distributions. *UAI*.

---

**笔记元信息**

- 创建日期：2026-05-14
- 面向对象：深度学习与强化学习科研人员
- 核心内容：因果推断数学基础、do-calculus、因果效应估计、反事实推理、因果发现算法、在 RL 中的应用、与信息论的交叉