113 lines
11 KiB
Markdown
113 lines
11 KiB
Markdown
---
|
||
title: 16 第十六章 集成学习
|
||
draft: false
|
||
tags:
|
||
- ESL
|
||
---
|
||
## [逻辑架构图]
|
||
|
||
本章知识点呈现出一个完美的“自顶向下”的系统工程架构：
|
||
1. **宏观系统设计（集成策略）**：探讨系统的并发模式（Bagging的并行容错 vs Boosting的串行纠错）及应用场景。
|
||
2. **底层指令集（加性模型）**：剥开黑盒，集成学习在数学上不过是自适应基函数的线性叠加（流水线组装）。
|
||
3. **运行态控制机制（正则化与 LARS）**：揭示提升树（Boosting）与 Lasso 算法在极小步长下的路径等价性，解释系统如何通过限制“迭代步数”或“惩罚权重”来防止过拟合。
|
||
4. **高级编译优化（规则集成/RuleFit）**：将复杂的树结构反编译为易读的 IF-THEN 指令集，并用 L1 正则化进行“死代码消除（Dead Code Elimination）”，实现可解释性与精度的统一。
|
||
|
||
---
|
||
|
||
## [深度整理正文]
|
||
|
||
### 一、 宏观系统设计：集成学习的并发与调度
|
||
如果说普通的机器学习算法（决策树、SVM、逻辑回归）是“单兵作战”，那么集成学习就是“军团作战”。它的核心逻辑是：构建多个“弱学习器”，并通过某种结合策略，把它们组装成一个“强学习器”。
|
||
|
||
**1. 集成学习的三大主流派系**
|
||
根据基学习器之间“如何协同”，分为三大类：
|
||
* **Bagging (并行)**：独立投票，减少波动（方差）。形象比喻：**民主选举**。代表算法：随机森林 (Random Forest)。
|
||
* {**底层逻辑**：这等价于分布式系统中的 **冗余容错机制（如 RAID 1 或多副本一致性）**。通过将数据复制并由独立的节点处理，只要各节点的错误是不相关的，多数投票就能屏蔽掉个别节点的崩溃（过拟合）。}
|
||
* **Boosting (串行)**：步步为营，修正错误（偏差）。形象比喻：**学霸养成**。代表算法：XGBoost, LightGBM, AdaBoost。
|
||
* {**底层逻辑**：这是一种典型的 **指令流水线（Pipeline）与反馈回路** 设计。上一个 Stage（弱学习器）跑完后的残差（Residual），直接作为下一个 Stage 的输入。它追求的不是单个节点的完美，而是整个流水线末端的极低误差。}
|
||
* **Stacking (层级)**：跨界融合，二次建模。形象比喻：**专家会诊**。
|
||
|
||
**2. 核心调度环节（三个关键动作）**
|
||
* **怎么选样本？** Bagging 用 Bootstrap（有放回抽样）；Boosting 根据上一步的错误率调整样本权重（死磕“难点”）。
|
||
* **怎么选算法？** 通常使用同一种算法作为基底（同构），Stacking 可以混搭（异构）。
|
||
* **怎么做决策？** 分类用 Voting，回归用 Averaging。
|
||
|
||
**3. 工业界应用案例（结构化数据霸主）**
|
||
* **金融风控（欺诈检测）**：欺诈交易极少。RF 通过“特征随机”捕捉微弱异常；XGBoost 通过迭代专攻隐蔽欺诈。
|
||
* **医疗领域（生存预测）**：数据常有缺失。RF 能稳健预测并给出特征重要性。
|
||
* **零售电商（销量预测）**：高维特征。LightGBM 高效处理维度，拟合复杂波动曲线。
|
||
* {**性能补充**：LightGBM 之所以快，是因为它在底层使用了 **Histogram（直方图）算法**。它将连续的浮点特征离散化为整型 Bin，这极大地压缩了内存占用（从 32-bit Float 压缩到 8-bit Int），并让数据加载完美契合了 **CPU Cache Line** 的预取（Prefetching）机制，是典型的 Hardware-Friendly 算法。}
|
||
* **互联网安全（反垃圾邮件）**：AdaBoost 抓取明显关键词，迭代识别伪装邮件。
|
||
|
||
---
|
||
|
||
### 二、 底层指令集：自适应基函数的加性模型
|
||
如果你把机器学习比作“装修”，基函数就是原材料，集成学习就是施工方案。在现代统计学习理论中，集成学习本质上是一种**基于基函数的加性模型（Additive Models）迭代过程**。
|
||
|
||
**1. 数学本质：加性公式**
|
||
集成学习的核心公式是一个基函数的线性组合：
|
||
$$ F(x) = \sum_{m=1}^{M} \beta_m b(x; \gamma_m) $$
|
||
* $b(x; \gamma_m)$：基函数（基学习器），在树模型中是一棵决策树。
|
||
* $\gamma_m$：基函数的参数（树的分裂点等）。
|
||
* $\beta_m$：权重。
|
||
|
||
**2. 传统基函数 vs 集成自适应基函数**
|
||
* **传统（固定基函数）**：如多项式 $x^2$、傅里叶 $\sin(x)$。基函数是预先定义好的，模型只负责学习权重 $\beta$。{这就像硬件工程师烧录死的 ASIC（专用集成电路）。}
|
||
* **集成学习（自适应基函数）**：基函数是从数据中学习出来的。在随机森林里，决策树自动决定在哪里分段。它不再是死板的曲线，而是“看菜吃饭”的动态门控函数。{这就像可编程的 FPGA，底层逻辑门根据输入数据的分布被动态重构，表达能力呈指数级上升。}
|
||
|
||
**3. 两种集成策略在基函数层面的视角**
|
||
* **Bagging**：所有的基函数是并行生成的，是对空间的“局部切分”。成百上千的分段常数拟合平均后，形成一个复杂的平滑曲面。
|
||
* **Boosting**：前向分布算法。每一次只增加一个基函数去拟合当前模型与真实值之间的“空隙”（残差）。$F_m(x) = F_{m-1}(x) + \beta_m b(x; \gamma_m)$。
|
||
|
||
---
|
||
|
||
### 三、 运行态控制：正则化与最小角回归 (LARS) 的等价性
|
||
如何防止模型“钻牛角尖”（过拟合）？集成学习和正则化在数学边界上殊途同归：**集成学习通过“堆人头”或“慢走”控制模型，正则化通过“加枷锁”控制模型。**
|
||
|
||
**1. 显式的惩罚（正则化）**
|
||
在损失函数后加惩罚项：岭回归加 $L_2$（系数均匀变小），Lasso 加 $L_1$（特征选择，系数直接变 0）。
|
||
|
||
**2. 隐式的平滑（集成学习）**
|
||
* **Bagging**：通过多模型平均，直接抵消方差。
|
||
* **Boosting**：通过极小步长（学习率 $\eta$）迭代，慢慢逼近目标（Shrinkage）。
|
||
|
||
**3. 核心交汇：Boosting 与 LARS 的路径等价性**
|
||
这是连接两者的“圣杯”！在极小步长下，Boosting 产生的系数变化路径与 Lasso（特别是 LARS 算法）随惩罚参数 $\lambda$ 减小产生的路径轨迹几乎完全重合。
|
||
* **LARS 的逻辑**：找与残差相关性最大的特征，沿该方向移动，直到另一个特征与残差相关性一样大，再沿角平分线移动。
|
||
* **Boosting 的逻辑**（向量化）：第 $m$ 步的预测 $F_m = F_{m-1} + \eta \cdot x_j$。系数更新 $\beta_j^{new} = \beta_j^{old} + \eta \cdot \text{sign}(\langle r, x_j \rangle)$。它也在找最能解释残差的特征，并更新一点点。
|
||
* {**底层优化视角**：Lasso 是在进行有严格可行域限制的**坐标下降（Coordinate Descent）**；而 Gradient Boosting 本质上是在做**函数空间（Function Space）中的梯度下降**。LARS 证明了，贪婪的步进式集成就是在有约束的特征空间里进行最优路径搜索。}
|
||
|
||
**结论：参数 $M$ 与 $\lambda$ 的对应**
|
||
**迭代次数 $M$** 在 Boosting 中起到了和 **$1/\lambda$** 在 Lasso 中完全一样的作用。$M$ 很大（$\lambda$ 很小）则过拟合；$M$ 很小（$\lambda$ 很大）则受约束。
|
||
这就解释了为什么可以在 XGBoost 的目标函数中直接加入叶子节点数（$L_1/L_2$ 正则），因为**控制树的复杂度和控制迭代的步伐，本质上都是在限制模型空间的体积**。
|
||
|
||
---
|
||
|
||
### 四、 最终编译：规则集成 (RuleFit) 与死代码消除
|
||
这是集成学习中极其硬核的一环。如果决策树是自动门控分段函数，那么“规则集成”就是把这些门控逻辑拆散、重组、并精简的过程。
|
||
|
||
**1. 核心逻辑**
|
||
* **生成（挖掘）**：跑一个森林。把根到叶子的每一条路径看作一条“如果...那么...”的规则。
|
||
* **转化（特征化）**：把几万条规则拆成二进制特征（满足为1，否则为0）。
|
||
* **集成（筛选）**：将这成千上万个二进制规则丢进一个带有 **Lasso（L1正则化）** 的线性模型里。
|
||
|
||
**2. Lasso 的“剃刀”作用**
|
||
森林拆出的规则绝大多数是冗余的。Lasso 的 $L_1$ 惩罚会将无用规则的权重 $\hat{w}_k$ 直接削弱为 0。最终得到一个极其精简（几十条核心规则）的集合，兼具森林的精度与线性模型的透明度。
|
||
{**编译器视角的理解**：这就好比在 C++ 编译期。随机森林负责通过大量宏展开和模板实例化生成了海量的汇编分支指令（IF-THEN）。而 Lasso 在这里充当了**编译器后端优化器 (Optimizer)**，执行了极其强悍的 **Dead Code Elimination (死代码消除)** 和 **Common Subexpression Elimination (公共子表达式消除)**。它把不会被执行的、或者对最终返回值贡献极微的分支全部砍掉，生成了体积最小、运行最快的 Executable。}
|
||
|
||
**3. 应用领域与基函数视角**
|
||
规则集成在医疗临床指南、信贷审批、工业故障诊断等需要“绝对透明”且“非线性建模”的场景无可替代。
|
||
在基函数视角下，它达到了完美的统一：**利用森林（Bagging）生产非线性的基函数，利用 Lasso（Regularization）过滤基函数，最后还原回清晰的分段逻辑。**
|
||
|
||
---
|
||
|
||
## [边界知识联动]
|
||
|
||
理解了集成学习的底层逻辑，你会发现它与计算机系统架构有着惊人的同构映射：
|
||
|
||
1. **Bagging 与 分布式容错 / RAID 1**
|
||
* Bagging 的核心是多样性（Diversity）。在磁盘阵列（RAID）中，如果使用同一批次、同一工厂的硬盘，它们可能会在同一时间因同样的物理缺陷挂掉（高度相关，高方差）。好的系统设计会引入硬件多样性，就像 Bagging 中的 Bootstrap 随机采样，确保各节点的崩溃是相互独立的。
|
||
2. **Gradient Boosting 与 现代 CPU 的分支预测 / 乱序执行**
|
||
* 在 Boosting 中，后一棵树的建立严格依赖前一棵树的残差（数据依赖，RAW Hazard）。这就注定了标准的 Boosting 无法像 Bagging 那样进行 Instruction-Level Parallelism（指令级并行）。这就是为什么 XGBoost 只能在**特征粒度**（如特征直方图构建）上做并行，而不能在树的粒度上做并行。
|
||
3. **L1 正则化 (Lasso) 与 稀疏矩阵内存布局 (CSR/CSC)**
|
||
* 在 RuleFit 中使用 Lasso 将几万条规则砍到几十条。在底层计算时，这实际上把稠密的权重矩阵压缩成了高度稀疏的矩阵。硬件上可以通过 CSR (Compressed Sparse Row) 格式进行存储，使得推断时的乘加运算（MAC）跳过多余的零，直接命中 CPU L1 Cache，实现推理延迟的数量级下降。 |