955 lines
40 KiB
Markdown
955 lines
40 KiB
Markdown
# 第十四章
|
||
|
||
机器学习（Machine Learning）领域中，监督学习和非监督学习是两种最基础且核心的范式。简单来说，它们的本质区别在于训练数据中是否包含“答案”。
|
||
|
||
---
|
||
|
||
## 1. 什么是监督学习（Supervised Learning）？
|
||
|
||
**监督学习**好比一名学生在老师的指导下学习。老师给学生一套练习题，并且每道题都附带了标准答案。学生通过观察题目特征（特征向量 $x$）和答案（标签 $y$）之间的对应关系，总结出规律。
|
||
|
||
- **核心目标**：建立一个从输入到输出的映射函数 $f(x) \rightarrow y$。
|
||
|
||
- **常见任务**：
|
||
|
||
- **回归（Regression）**：预测连续数值，如房价预测、股票价格走势。
|
||
|
||
- **分类（Classification）**：预测离散类别，如垃圾邮件检测（是/否）、图像识别（猫/狗）。
|
||
|
||
- **典型算法**：线性回归、逻辑回归、支持向量机（SVM）、决策树、随机森林、神经网络。
|
||
|
||
|
||
---
|
||
|
||
## 2. 什么是非监督学习（Unsupervised Learning）？
|
||
|
||
**非监督学习**则更像是一个孩子在没有老师指导的情况下自行探索世界。给出的数据只有题目（特征 $x$），没有答案（没有标签 $y$）。模型需要自己去发现数据内部隐藏的结构或模式。
|
||
|
||
- **核心目标**：发现数据的内在结构、分布或相似性。
|
||
|
||
- **常见任务**：
|
||
|
||
- **聚类（Clustering）**：根据相似性将数据分组，如客户细分、新闻聚合。
|
||
|
||
- **降维（Dimensionality Reduction）**：简化数据特征，去除冗余信息，如 PCA（主成分分析）。
|
||
|
||
- **关联规则（Association Rule）**：发现数据间的潜在规则，如超市里“买了尿布的人通常也会买啤酒”。
|
||
|
||
- **典型算法**：K-means 聚类、层次聚类、PCA、自编码器（Autoencoders）。
|
||
|
||
|
||
---
|
||
|
||
## 3. 两者的区别与联系
|
||
|
||
### 核心区别
|
||
|
||
|**维度**|**监督学习**|**非监督学习**|
|
||
|---|---|---|
|
||
|**数据标签**|有标签（Labeled Data）|无标签（Unlabeled Data）|
|
||
|**反馈机制**|直接反馈（有标准答案对比）|无反馈（仅寻找模式）|
|
||
|**预测能力**|强，能预测未来数据的类别或值|弱，主要用于描述和探索现有数据|
|
||
|**复杂度**|较高（数据标注成本昂贵）|较低（直接使用原始数据）|
|
||
|
||
### 两者的联系
|
||
|
||
1. **相辅相成**：在实际应用中，两者经常结合使用。例如，先通过非监督学习（聚类）对海量未标记数据进行预处理或异常检测，然后再利用监督学习进行精确分类。
|
||
|
||
2. **目标一致**：无论是哪种方式，其终极目标都是为了让计算机通过算法从数据中获取知识，提高处理任务的自动化程度。
|
||
|
||
3. **技术交织**：深度学习中的许多结构（如生成对抗网络 GANs）会同时包含监督和非监督的思想。此外，还衍生出了**半监督学习**（只有少量标注数据）等中间形态。
|
||
|
||
|
||
---
|
||
|
||
> **总结：**
|
||
>
|
||
> 如果你已经知道想要寻找的特定结果（比如预测是否违约），选**监督学习**；如果你只是拿到一堆混乱的数据，想看看里面有什么规律或族群，选**非监督学习**。
|
||
|
||
|
||
|
||
关联规则（Association Rules）是非监督学习中非常有意思的一个分支，它不像聚类那样为了“分类”，而是为了“找关系”。最经典的案例就是沃尔玛发现的“啤酒与尿布”的故事：通过分析购物篮数据，发现买尿布的人大概率也会买啤酒。
|
||
|
||
---
|
||
|
||
## 1. 核心概念：如何衡量“规则”？
|
||
|
||
假设我们有一堆交易数据，每条交易包含若干商品。要确定“如果买了 A，那么也会买 B”（$A \rightarrow B$）这个规则是否有价值，通常看三个核心指标：
|
||
|
||
1. **支持度（Support）**：
|
||
|
||
- 定义：商品 A 和 B 同时出现在所有交易中的概率。
|
||
|
||
- 公式：$Support(A \rightarrow B) = P(A \cup B)$
|
||
|
||
- **意义**：衡量这个规则的普适性。如果支持度太低，说明这个组合很少见，没必要研究。
|
||
|
||
2. **置信度（Confidence）**：
|
||
|
||
- 定义：在已经买了 A 的前提下，买 B 的概率。
|
||
|
||
- 公式：$Confidence(A \rightarrow B) = P(B|A) = \frac{Support(A \cup B)}{Support(A)}$
|
||
|
||
- **意义**：衡量规则的可靠性。
|
||
|
||
3. **提升度（Lift）**：
|
||
|
||
- 定义：含有 A 条件下出现 B 的概率，与不考虑 A 时 B 出现概率的比值。
|
||
|
||
- 公式：$Lift(A \rightarrow B) = \frac{Confidence(A \rightarrow B)}{Support(B)}$
|
||
|
||
- **意义**：
|
||
|
||
- $Lift > 1$：A 对 B 有正向促进作用（强关联）。
|
||
|
||
- $Lift = 1$：A 和 B 相互独立。
|
||
|
||
- $Lift < 1$：A 甚至排斥 B。
|
||
|
||
|
||
---
|
||
|
||
## 2. Apriori 算法：寻找频繁项集的经典
|
||
|
||
Apriori 算法的名字源于它利用了“先验知识”（Prior knowledge）。它的核心任务是找到**频繁项集**（满足最小支持度阈值的商品组合）。
|
||
|
||
### 核心原理：Apriori 定理
|
||
|
||
- **性质 1**：如果一个项集是频繁的，那么它的所有子集也一定是频繁的。
|
||
|
||
- **性质 2（逆反）**：如果一个项集是非频繁的，那么它的所有超集（包含它的组合）也一定是非频繁的。
|
||
|
||
|
||
这个定理极大地减少了搜索空间。比如，如果我们发现“可乐”本身买的人就极少（不频繁），那我们根本不需要去计算“可乐+汉堡”或者“可乐+薯条”的频率了，直接**剪枝**。
|
||
|
||
### 算法步骤
|
||
|
||
1. **扫描数据**：计算单个物品的支持度，剔除不达标的，得到频繁 1-项集。
|
||
|
||
2. **连接与剪枝**：将上一步的频繁项集两两组合，生成候选集，并利用 Apriori 性质剔除不可能频繁的项。
|
||
|
||
3. **循环迭代**：重复上述过程，直到无法生成更高阶的频繁项集。
|
||
|
||
4. **产生规则**：从频繁项集中提取满足最小置信度的关联规则。
|
||
|
||
|
||
---
|
||
|
||
## 3. Apriori 的优缺点
|
||
|
||
- **优点**：
|
||
|
||
- 逻辑简单直观，易于理解。
|
||
|
||
- 利用剪枝技术，避免了对所有可能组合的盲目计算。
|
||
|
||
- **缺点**：
|
||
|
||
- **性能瓶颈**：每产生一次频繁项集都要全表扫描数据库。如果数据量巨大或商品种类极多，I/O 开销非常恐怖。
|
||
|
||
- **候选项过多**：当频繁项集很大时（比如包含 100 个物品），产生的子集数量是天文数字。
|
||
|
||
|
||
---
|
||
|
||
## 4. 算法演进：FP-Growth
|
||
|
||
为了解决 Apriori 频繁扫描数据库的问题，后来业界提出了 **FP-Growth (Frequent Pattern Growth)** 算法：
|
||
|
||
- **核心改进**：它只扫描两次数据库。
|
||
|
||
- **原理**：它将数据压缩成一棵 **FP 树（Frequent Pattern Tree）**，然后通过递归地在树上搜索来挖掘频繁项。它不需要生成候选集，速度通常比 Apriori 快两个数量级。
|
||
|
||
|
||
---
|
||
|
||
## 5. 应用场景
|
||
|
||
除了“超市购物篮分析”，关联规则还广泛用于：
|
||
|
||
- **个性化推荐**：在电商网站，“买了此商品的顾客还买了...”。
|
||
|
||
- **网络安全**：分析攻击行为的关联模式（比如登录失败后紧跟扫描行为）。
|
||
|
||
- **生物信息学**：寻找基因序列之间的关联关系。
|
||
|
||
- **软件工程**：分析哪些代码模块经常被同时修改，辅助重构。
|
||
|
||
|
||
---
|
||
|
||
聚类分析（Clustering Analysis）是非监督学习中最具代表性的技术。它的目标是将数据集划分为若干个组（簇），使得**同一簇内的数据点高度相似，而不同簇间的数据点尽可能不同**。
|
||
|
||
---
|
||
|
||
## 1. 基础：相似性度量与邻接矩阵
|
||
|
||
在聚类之前，我们必须量化“两个点有多像”。
|
||
|
||
- **相似性（Similarity）与不相似性（Dissimilarity）**：
|
||
|
||
- **不相似性**通常用**距离**表示。最常见的是 **欧氏距离（Euclidean Distance）**，公式为 $d(x, y) = \sqrt{\sum (x_i - y_i)^2}$。此外还有曼哈顿距离、切比雪夫距离等。
|
||
|
||
- **相似性**通常用**相关系数**或**余弦相似度**表示，取值范围通常在 $[0, 1]$ 或 $[-1, 1]$。
|
||
|
||
- **邻接矩阵 / 接近矩阵（Proximity Matrix）**：
|
||
|
||
- 这是一个 $n \times n$ 的对称矩阵，其中第 $i$ 行第 $j$ 列的元素表示第 $i$ 个样本与第 $j$ 个样本之间的距离或相似度。它是许多聚类算法（尤其是层次聚类）的输入基础。
|
||
|
||
|
||
---
|
||
|
||
## 2. 基于原型的聚类：K-means 与 K-medoids
|
||
|
||
这类算法假设每个簇都有一个“中心”。
|
||
|
||
### K-means（K-均值）
|
||
|
||
- **核心逻辑**：以均值（质心）作为簇中心。
|
||
|
||
- **流程**：随机选 $K$ 个中心 $\rightarrow$ 将每个点分配给最近的中心 $\rightarrow$ 重新计算每个簇的均值作为新中心 $\rightarrow$ 迭代直到中心不再变化。
|
||
|
||
- **优点**：速度极快，适合大规模数据。
|
||
|
||
- **缺点**：对**异常值**非常敏感（一个极值就能把均值拉跑）；只能处理球形簇；需要预先指定 $K$。
|
||
|
||
|
||
### K-medoids（K-中心点）
|
||
|
||
- **核心逻辑**：强制要求簇中心必须是**原始数据集中的某个点**（称为 Medoid）。
|
||
|
||
- **优点**：对异常值更鲁棒（健壮），因为它不计算均值，而是寻找中值。
|
||
|
||
- **缺点**：计算复杂度比 K-means 高，适合中小型数据集。
|
||
|
||
|
||
---
|
||
|
||
## 3. 向量量化（Vector Quantization, VQ）
|
||
|
||
**向量量化**实际上是聚类在信号处理和数据压缩中的应用。
|
||
|
||
- **原理**：将高维连续向量映射到有限个“码向量”（Codevector）的过程。
|
||
|
||
- **联系**：K-means 实际上就是寻找最优码书（Codebook）的过程。通过用簇中心的索引代替原始数据，可以实现极高比例的**损耗压缩**。
|
||
|
||
|
||
---
|
||
|
||
## 4. 层次聚类（Hierarchical Clustering）
|
||
|
||
层次聚类通过构建一个树状结构（Dendrogram）来表示数据间的关系。
|
||
|
||
### 合并聚类（Agglomerative / 系统聚类）
|
||
|
||
这是最常用的“自底向上”方法：
|
||
|
||
1. **起步**：每个点自成一簇。
|
||
|
||
2. **合并**：计算两两簇之间的距离，合并最近的两个簇。
|
||
|
||
3. **循环**：重复直到达到预设簇数或所有点合为一簇。
|
||
|
||
|
||
**组合算法（Linkage Method）**：决定“簇与簇之间距离”的计算方式：
|
||
|
||
- **最短距离法（Single Linkage）**：取两个簇中最近两点的距离。易产生“链状效应”。
|
||
|
||
- **最长距离法（Complete Linkage）**：取两个簇中最远两点的距离。结果通常比较紧凑。
|
||
|
||
- **平均距离法（Average Linkage）**：取所有点对距离的平均值。
|
||
|
||
- **离差平方和法（Ward's Method）**：合并后使簇内方差增加最小，效果通常最好。
|
||
|
||
|
||
### 分裂聚类（Divisive）
|
||
|
||
- “自顶向下”：初始将所有点视为一簇，然后递归地将其分裂。计算量极大，实际应用较少。
|
||
|
||
|
||
---
|
||
|
||
## 5. 其他聚类方式概览
|
||
|
||
- **基于密度的聚类（DBSCAN）**：
|
||
|
||
- 通过寻找被低密度区域分隔的高密度区域来发现簇。
|
||
|
||
- **优点**：可以发现任意形状的簇（不限于球形），且能自动识别**噪声点（异常值）**。
|
||
|
||
- **基于网格的聚类（STING）**：
|
||
|
||
- 将空间划分为网格单元，在网格级别处理数据，速度极快。
|
||
|
||
- **基于模型的聚类（GMM - 高斯混合模型）**：
|
||
|
||
- 假设数据是由多个高斯分布混合生成的，通过 EM 算法估计参数。这属于**概率聚类**。
|
||
|
||
|
||
---
|
||
|
||
## 总结比较
|
||
|
||
|**算法**|**类型**|**优点**|**缺点**|
|
||
|---|---|---|---|
|
||
|**K-means**|划分式|简单、高效、适合大数据|需预设 $K$，对异常值敏感|
|
||
|**K-medoids**|划分式|鲁棒性强，处理异常值好|速度较慢|
|
||
|**合并聚类**|层次式|聚类关系一目了然，不需预设 $K$|复杂度高 $O(n^3)$，不可回溯|
|
||
|**DBSCAN**|密度式|可识别噪声，发现异形簇|对密度差异大的数据效果差|
|
||
|
||
在实际操作中，通常会先通过 **层次聚类** 观察谱系图来确定合适的 $K$ 值，然后再用 **K-means** 进行大规模运算。
|
||
|
||
---
|
||
|
||
在聚类分析的理论框架中，根据构建簇（Cluster）的数学逻辑和模型假设，我们通常将算法归纳为**组合算法**、**混合模型**和**模式寻找**三大类。这三者代表了从“经验主义”到“概率统计”再到“几何特征”的不同视角。
|
||
|
||
---
|
||
|
||
## 1. 组合算法 (Combinatorial Algorithms)
|
||
|
||
组合算法不假设数据背后存在任何概率分布，而是直接在离散的组合空间中寻找最优的数据划分。
|
||
|
||
- **核心逻辑**：将 $N$ 个观测值分配到 $K$ 个簇中，目标是最小化某种“损失函数”（通常是簇内不相似度之和）。
|
||
|
||
- **数学表达**：
|
||
|
||
目标通常是最小化如下平方误差：
|
||
|
||
$$W(C) = \frac{1}{2} \sum_{k=1}^{K} \sum_{i \in C_k} \sum_{j \in C_k} d(x_i, x_j)$$
|
||
|
||
- **代表算法**：
|
||
|
||
- **K-means**：最典型的组合优化，通过迭代将点分配给最近的质心。
|
||
|
||
- **层次聚类 (Hierarchical Clustering)**：通过合并或分裂的组合策略构建树状结构。
|
||
|
||
- **特点**：
|
||
|
||
- **优点**：计算直观，不依赖复杂的概率假设，工程实现简单。
|
||
|
||
- **缺点**：这是一个 NP-Hard 问题，算法（如 K-means）通常只能找到局部最优解，且对 $K$ 的选择和初始点非常敏感。
|
||
|
||
|
||
---
|
||
|
||
## 2. 混合模型 (Mixture Models)
|
||
|
||
混合模型属于**概率聚类**。它假设观测数据是由若干个潜在的概率分布（通常是高斯分布）混合生成的。
|
||
|
||
- **核心逻辑**：每个簇对应一个概率密度函数，一个样本点属于某个簇的概率由该分布决定。这是一种“软聚类”（Soft Clustering），即一个点可以以 0.7 的概率属于 A 簇，0.3 的概率属于 B 簇。
|
||
|
||
- **数学表达**：
|
||
|
||
数据的总概率密度表示为各成分的加权和：
|
||
|
||
$$f(x) = \sum_{k=1}^{K} \pi_k P(x|\theta_k)$$
|
||
|
||
其中 $\pi_k$ 是混合权重，$\theta_k$ 是第 $k$ 个分布的参数（如均值和方差）。
|
||
|
||
- **代表算法**：
|
||
|
||
- **高斯混合模型 (GMM)**：假设每个簇都服从高斯分布。
|
||
|
||
- **EM 算法 (Expectation-Maximization)**：用于求解模型参数的标准迭代程序。
|
||
|
||
- **特点**：
|
||
|
||
- **优点**：数学基础严谨，能够提供隶属概率，可以处理簇大小不一、形状重叠的情况。
|
||
|
||
- **缺点**：计算开销比 K-means 大；如果实际数据不符合预设的分布（如不是高斯分布），效果会大打折扣。
|
||
|
||
|
||
---
|
||
|
||
## 3. 模式寻找 (Mode Seeking / Density-based)
|
||
|
||
模式寻找算法（也称基于密度的聚类）从几何和拓扑的角度看待聚类。它认为簇是特征空间中**密度较高**的区域，而被**低密度区域**（噪声）所分隔。
|
||
|
||
- **核心逻辑**：聚类的中心被定义为概率密度函数的局部最大值（波峰/模式）。算法会沿着密度的梯度方向寻找这些波峰。
|
||
|
||
- **代表算法**：
|
||
|
||
- **Mean Shift (均值漂移)**：一种非参数估计方法，通过不断将中心点移向高密度区域来定位波峰。
|
||
|
||
- **DBSCAN**：虽然通常被归类为密度聚类，但其核心思想也是连接高密度模式区域。
|
||
|
||
- **特点**：
|
||
|
||
- **优点**：
|
||
|
||
1. **无需预设 K**：它能根据数据密度自动发现簇的数量。
|
||
|
||
2. **形状无关**：可以发现任何奇形怪状的簇（如环形、S型）。
|
||
|
||
3. **鲁棒性**：能天然地识别并剔除离群点（噪声）。
|
||
|
||
- **缺点**：在高维数据下由于“维度灾难”，密度估计会变得非常不准；对密度不均匀的数据集处理效果较差。
|
||
|
||
|
||
---
|
||
|
||
## 总结对比
|
||
|
||
|**类别**|**视角**|**划分性质**|**对 K 的依赖**|**典型场景**|
|
||
|---|---|---|---|---|
|
||
|**组合算法**|距离/能量最小化|硬划分 (0或1)|必须预设|大规模快速处理，球形簇|
|
||
|**混合模型**|概率统计生成|软划分 (概率)|需预设|需要确定置信度，数据重叠|
|
||
|**模式寻找**|几何密度/拓扑|硬划分/噪声识别|自动发现|形状复杂的数据，包含噪声|
|
||
|
||
这三种类别并不是互斥的。例如，如果你在处理底层的系统指标监控或者复杂的信号分析，可能会先用**模式寻找**来剔除异常，再用**混合模型**进行精细化刻画。
|
||
|
||
你目前是在做相关的算法实现，还是在准备课程考试呢？
|
||
|
||
---
|
||
|
||
|
||
聚类在现实生活中的应用非常广泛，它本质上是在**给混乱的信息找秩序**。
|
||
|
||
### 1. 常见的聚类例子
|
||
|
||
- **电商客户画像**：根据购买频次、消费金额、浏览偏好，将用户分为“高价值忠实客户”、“潜在流失客户”、“价格敏感型客户”等，从而进行精准营销。
|
||
|
||
- **新闻自动分组**：像 Google News 这样的平台，每天抓取数百万篇报道。它通过聚类将讨论“同一个事件”的稿件合在一起，形成一个新闻专题。
|
||
|
||
- **生物信息学**：在基因芯片实验中，将表达模式相似的基因聚在一起，从而推测未知基因的功能或参与的生物学过程。
|
||
|
||
- **图像分割**：在计算机视觉中，将像素点根据颜色、亮度或纹理聚类，从而把前景物体（如一张脸）从背景中分离出来。
|
||
|
||
- **城市规划**：根据人口密度、交通流量和商业设施分布，将城市划分为不同的功能区（居住区、商业区、工业区）。
|
||
|
||
|
||
---
|
||
|
||
### 2. 合并聚类（系统聚类）的树状图演示
|
||
|
||
合并聚类最直观的产物就是**聚类树（Dendrogram）**。我们来构造一个简单的例子。
|
||
|
||
#### 假设场景
|
||
|
||
我们要对 5 个城市（A, B, C, D, E）进行聚类，假设它们之间的距离矩阵如下（数值越小越近）：
|
||
|
||
| |**A**|**B**|**C**|**D**|**E**|
|
||
|---|---|---|---|---|---|
|
||
|**A**|0|2|7|8|10|
|
||
|**B**|2|0|6|9|11|
|
||
|**C**|7|6|0|1|4|
|
||
|**D**|8|9|1|0|3|
|
||
|**E**|10|11|4|3|0|
|
||
|
||
#### 合并过程：
|
||
|
||
1. **第一步**：找距离最近的一对。**C 和 D** 距离仅为 **1**。合并它们，形成簇 **(CD)**。
|
||
|
||
2. **第二步**：剩下的点里，**A 和 B** 距离为 **2**。合并它们，形成簇 **(AB)**。
|
||
|
||
3. **第三步**：现在有三个簇：(AB), (CD), E。计算距离发现 (CD) 和 E 最近（假设 D 到 E 距离为 3）。合并它们，形成簇 **(CDE)**。
|
||
|
||
4. **最后一步**：将剩下的两个大簇 **(AB)** 和 **(CDE)** 合并。
|
||
|
||
|
||
#### 构造的聚类树：
|
||
|
||
Plaintext
|
||
|
||
```
|
||
距离 (Height)
|
||
^
|
||
10| +-----------------------+
|
||
| | |
|
||
| +------+-------+ |
|
||
5| | | | |
|
||
| | | +---+---+ |
|
||
| | | | | |
|
||
2| +---+---+ | | +---+---+ |
|
||
| | | | | | | | | |
|
||
1| | | | | | | | | |
|
||
+--A---B---+--+---E---C---D---+-------+
|
||
[ 簇 1 ] [ 簇 2 ]
|
||
```
|
||
|
||
### 怎么看这张图？
|
||
|
||
- **横轴**：代表原始的每一个数据点（城市）。
|
||
|
||
- **纵轴**：代表**合并时的距离（不相似度）**。
|
||
|
||
- **如何分类**：你可以通过在纵轴上“砍一刀”来决定分几类。
|
||
|
||
- 如果你在距离 **5** 的位置横着画一条线，树会被切成两半，你就得到了两个簇：**{A, B}** 和 **{C, D, E}**。
|
||
|
||
- 如果你在距离 **1.5** 的位置画线，你会得到四个簇：**{A}, {B}, {E}** 和已经合并的 **{C, D}**。
|
||
|
||
|
||
这种树状结构的魅力在于，它不需要你预先指定 $K$。你可以先画出整棵树，然后根据实际需求（比如经费只够做 3 组实验）来决定在哪里“切一刀”。
|
||
|
||
你目前是在尝试用代码（比如 Rust 或 Python）实现这种树状图的绘制，还是在推导它的数学逻辑？
|
||
|
||
---
|
||
|
||
**自组织映射图（Self-Organizing Map, SOM）**，也常被称为 **Kohonen 网络**，是一种非常独特的非监督学习人工神经网络。
|
||
|
||
如果说 K-means 是在做“分类”，那么 SOM 更像是在做“降维+可视化”**。它能够将高维度的复杂数据，映射到低维（通常是二维）的网格上，同时还能**保持数据原有的拓扑结构（即：在原始空间离得近的点，在映射后的地图上也离得近）。
|
||
|
||
---
|
||
|
||
## 1. 核心原理：它是如何工作的？
|
||
|
||
想象一张由很多神经元组成的“网”（通常是二维正方形或六边形网格），这张网覆盖在你的原始数据点上。
|
||
|
||
1. **竞争机制（Competition）**：
|
||
|
||
当输入一个数据样本时，网格上所有的神经元都会计算自己与这个样本的“距离”。距离最近的那个神经元被称为 **最佳匹配单元（Best Matching Unit, BMU）**。
|
||
|
||
2. **协作机制（Cooperation）**：
|
||
|
||
BMU 胜出后，它不仅自己会向这个样本靠近，还会带着它周围的“邻居”神经元一起向样本靠近。
|
||
|
||
3. **学习机制（Adaptation）**：
|
||
|
||
随着训练的进行，距离 BMU 越近的邻居挪动幅度越大，越远的越小。最终，整张网会像一层皮肤一样，根据数据的密度和形状分布开来。
|
||
|
||
|
||
---
|
||
|
||
## 2. SOM 的三大特点
|
||
|
||
- **拓扑保持（Topology Preserving）**：这是它最迷人的地方。如果你输入的是全球各地的气候数据，SOM 映射出来的二维图上，地理位置相近或气候特征相似的城市会自动靠在一起。
|
||
|
||
- **非监督性**：不需要任何标签，它完全通过自我竞争来发现数据内在的聚类模式。
|
||
|
||
- **降维与可视化**：它能把拥有成百上千个特征的数据，压缩成一张人类一眼就能看懂的“热力图”。
|
||
|
||
|
||
---
|
||
|
||
## 3. 常见的应用举例
|
||
|
||
### A. 颜色聚类（最直观的例子）
|
||
|
||
如果你给 SOM 输入成千上万种随机的 RGB 颜色（三维数据：R, G, B），经过训练，你会得到一张平滑渐变的彩色地图。你会发现所有的蓝色系被聚在了一角，红色系在另一角，中间是过渡色。
|
||
|
||
### B. 金融风险分析（银行客户评估）
|
||
|
||
银行有成千上万个客户，每个客户有年收入、信用评分、负债率、消费频率等几十个维度的指标。
|
||
|
||
- 通过 SOM，银行可以将这些客户映射到一张二维网格图上。
|
||
|
||
- 图中右上角的区域可能聚集了“高收入、低负债”的优质客户；左下角可能聚集了“频繁逾期”的高风险客户。
|
||
|
||
- 银行经理只需要看这张“风险地图”，就能直观地发现客户群体的分布和变化。
|
||
|
||
|
||
### C. 故障诊断
|
||
|
||
在大型工厂（如核电站或化工厂）中，传感器产生的监测数据维度极高。
|
||
|
||
- SOM 可以学习设备“正常运行”时的参数状态，并在地图上形成一个“正常区域”。
|
||
|
||
- 当新的监测数据落在了地图上的“异常边缘”或未知区域时，系统就能立刻发出预警，指示设备可能出现了某种特定类型的故障。
|
||
|
||
|
||
### D. 语意映射
|
||
|
||
在语言处理早期，研究者将单词根据其上下文特征输入 SOM，发现含义相近的词（如“苹果”、“香蕉”）在二维地图上会自动聚集在一起，甚至能区分出名词区域和动词区域。
|
||
|
||
---
|
||
|
||
## 4. SOM 与 K-means 的区别
|
||
|
||
虽然它们都用于聚类，但侧重点不同：
|
||
|
||
- **K-means**：追求的是“划分”，它给你 $K$ 个互不相干的组，组与组之间的逻辑关系（谁离谁更近）并不直观。
|
||
|
||
- **SOM**：追求的是“分布”，它不仅告诉你谁和谁一类，还通过地图展示了不同类别之间的**过渡和演变关系**。
|
||
|
||
|
||
你可以把 SOM 想象成一张“数据的航海图”，它不只是把岛屿分类，而是把整个海洋的深浅和岛屿的相对位置全部画了出来。
|
||
|
||
---
|
||
|
||
自组织映射（Self-Organizing Map, SOM）的核心在于“竞争学习”。它将高维输入空间中的模式，映射到低维（通常是二维）的离散图形上。
|
||
|
||
我们可以把这个过程想象成一块“具有弹性的橡皮网”，它试图根据数据点的分布不断拉伸、折叠，直到能够贴合这些点的形状。
|
||
|
||
---
|
||
|
||
## 1. 算法组成要素
|
||
|
||
- **输入向量**：$V \in \mathbb{R}^n$，即你的原始高维数据。
|
||
|
||
- **神经元网格**：通常是一个二维平面（如 $10 \times 10$），每个格点代表一个神经元。
|
||
|
||
- **权重向量**：每个神经元 $j$ 都有一个与输入维度相同的权重向量 $W_j \in \mathbb{R}^n$。
|
||
|
||
- _注意：算法的目标就是不断更新这些 $W_j$，使其代表数据的特征。_
|
||
|
||
|
||
---
|
||
|
||
## 2. 详细算法步骤
|
||
|
||
### 第一步：初始化
|
||
|
||
- 随机初始化所有神经元的权重向量 $W_j$。
|
||
|
||
- 设定初始**学习率** $\eta(0)$ 和**邻域半径** $\sigma(0)$。
|
||
|
||
|
||
### 第二步：竞争阶段 (Competition)
|
||
|
||
- 从训练集中随机取出一个样本 $x$。
|
||
|
||
- 计算该样本与网格中所有神经元权重 $W_j$ 的距离（通常使用欧氏距离）。
|
||
|
||
- 找到距离最近的那个神经元，称之为**最佳匹配单元（Best Matching Unit, BMU）**，记为 $c$：
|
||
|
||
$$c = \arg\min_j \| x - W_j \|$$
|
||
|
||
|
||
### 第三步：协作阶段 (Cooperation)
|
||
|
||
- BMU 确定后，它会影响其周围的邻居。
|
||
|
||
- 计算其他神经元 $j$ 与 BMU $c$ 在二维网格上的距离 $d_{cj}$。
|
||
|
||
- 计算**邻域函数** $h_{cj}(t)$。最常用的是高斯函数：
|
||
|
||
$$h_{cj}(t) = \exp\left( - \frac{d_{cj}^2}{2\sigma^2(t)} \right)$$
|
||
|
||
- 这意味着离 BMU 越近的神经元，受到的影响越大。
|
||
|
||
|
||
### 第四步：学习阶段 (Adaptation)
|
||
|
||
- 更新网格中所有（或邻域内）神经元的权重：
|
||
|
||
$$W_j(t+1) = W_j(t) + \eta(t) \cdot h_{cj}(t) \cdot [x - W_j(t)]$$
|
||
|
||
- **直观理解**：这个公式把神经元的权重 $W_j$ 向当前样本 $x$ 的方向“拉”了一把。
|
||
|
||
- $\eta(t)$ 是随时间衰减的学习率。
|
||
|
||
|
||
### 第五步：迭代与退火
|
||
|
||
- 随着迭代次数 $t$ 的增加，**学习率** $\eta(t)$ 和**邻域半径** $\sigma(t)$ 都会逐渐减小。
|
||
|
||
- **退火效应**：起初，整张网大范围移动（粗调）；后期，只有 BMU 及其极少数邻居微调（精调）。
|
||
|
||
- 重复上述步骤，直到达到预设的迭代次数或权重收敛。
|
||
|
||
|
||
---
|
||
|
||
## 3. SOM 算法的精髓
|
||
|
||
### 1. 为什么它能保持拓扑结构？
|
||
|
||
因为在更新时，**邻居是带着一起动的**。
|
||
|
||
如果两个样本 $x_1$ 和 $x_2$ 在高维空间很接近，它们激活的 BMU 也会非常接近。由于邻域更新机制，这两个 BMU 及其周围的权重会趋于相似，最终在地图上形成相邻的区域。
|
||
|
||
### 2. 两个关键的递减过程
|
||
|
||
- **邻域半径递减**：开始时，“牵一发而动全身”，确保全局结构的形成；最后，半径缩到几乎只剩 BMU 自己，确保局部细节的准确。
|
||
|
||
- **学习率递减**：保证算法最终能稳定下来，不会因为最后几个样本的冲击而大幅波动。
|
||
|
||
|
||
---
|
||
|
||
## 4. 结果可视化：U-Matrix
|
||
|
||
训练完 SOM 后，我们怎么看结果？最常用的是 **U-Matrix (Unified Distance Matrix)**：
|
||
|
||
- 它计算每个神经元与其相邻神经元权重之间的距离。
|
||
|
||
- 在图中，颜色较深（距离小）的区域代表这里的神经元非常相似，形成了一个“簇”；
|
||
|
||
- 颜色较浅或有亮色线条（距离大）的区域代表“边界”，即不同类别之间的分水岭。
|
||
|
||
|
||
---
|
||
|
||
## 5. 总结
|
||
|
||
|**阶段**|**动作**|**目的**|
|
||
|---|---|---|
|
||
|**竞争**|找最近的神经元|确定样本在地图上的“归属点”|
|
||
|**协作**|确定受影响的范围|保持空间拓扑连接，不让神经元孤立|
|
||
|**学习**|拉近权重与样本的距离|让网格逐渐“长成”数据的样子|
|
||
|
||
|
||
这三个概念构成了非监督学习中**流形学习（Manifold Learning）**和**降维**的核心逻辑。它们的关系可以看作是从“直线”到“曲线”再到“曲面”的维度与复杂度演进。
|
||
|
||
---
|
||
|
||
## 1. 主成分 (Principal Components, PC)
|
||
|
||
**主成分**是主成分分析（PCA）的产物。它的核心思想是：寻找数据方差最大的方向。
|
||
|
||
- **几何本质**：在 $n$ 维空间中寻找一条**直线**，使得数据点投影到这条直线上的残差平方和最小。
|
||
|
||
- **线性特性**：它是原始变量的线性组合。第一主成分（PC1）解释了数据中最大的波动，第二主成分（PC2）与第一主成分正交，解释次大的波动。
|
||
|
||
- **局限性**：只能处理线性结构。如果数据像一个“S”形或环形分布，直线（主成分）就无法很好地描述它。
|
||
|
||
|
||
### 📌 使用场景：
|
||
|
||
- **高维数据降维**：例如在基因芯片数据中，将几万个基因维度降至 2-3 个主成分，以便在二维图上观察样本聚类情况。
|
||
|
||
- **数据去噪**：保留前几个主成分（代表信号），丢弃后面的主成分（代表随机噪声）。
|
||
|
||
- **图像压缩**：通过保留主要特征向量来重构图像。
|
||
|
||
|
||
---
|
||
|
||
## 2. 主曲线 (Principal Curves)
|
||
|
||
**主曲线**是主成分的非线性推广。
|
||
|
||
- **几何本质**：它是穿过数据分布“中间”的一条**光滑曲线**。数学上定义为：对于曲线上的每一个点，它都是所有投影到该点的数据点的**平均值（自相容性）**。
|
||
|
||
- **核心逻辑**：如果说主成分是一根刚性的钢丝，主曲线就是一根可以根据数据分布弯曲的橡皮筋。
|
||
|
||
- **意义**：它能够捕捉数据中的非线性趋势。
|
||
|
||
|
||
### 📌 使用场景：
|
||
|
||
- **轨迹分析**：在单细胞测序（scRNA-seq）中，细胞的状态转换通常是连续的。研究者使用主曲线来拟合“伪时间轨迹”，模拟细胞从干细胞分化到成熟细胞的路径。
|
||
|
||
- **地理路径重建**：根据大量杂乱的 GPS 坐标点（受误差影响），提取出道路的中心线。
|
||
|
||
- **特征提取**：在手写识别中，提取笔画的核心骨架曲线。
|
||
|
||
|
||
---
|
||
|
||
## 3. 主曲面 (Principal Surfaces)
|
||
|
||
**主曲面**是主曲线在二维或更高维度的扩展。
|
||
|
||
- **几何本质**：一个嵌入在高维空间中的低维**薄膜**。它同样满足自相容性：曲面上的点是投影到其上的所有观测点的质心。
|
||
|
||
- **算法联系**：自组织映射（SOM）在收敛后，本质上就可以看作是一个离散化的主曲面。
|
||
|
||
- **意义**：它认为高维数据实际上分布在一个卷曲的低维“流形”上。
|
||
|
||
|
||
### 📌 使用场景：
|
||
|
||
- **地质建模**：在石油勘探或矿业中，根据离散的采样点拟合地层矿脉的走向曲面。
|
||
|
||
- **复杂系统监控**：例如核电站的各种参数（压力、温度、流量等）虽然有几十个维度，但它们通常受少数几个物理规律制约，数据会分布在一个隐形的主曲面上。一旦数据偏离这个曲面，就预示着系统出现异常。
|
||
|
||
- **心理学/社会科学**：将复杂的调查问卷结果投影到二维主曲面上，观察不同人群的分布模式。
|
||
|
||
|
||
---
|
||
|
||
## 总结对比
|
||
|
||
|**概念**|**几何形式**|**线性/非线性**|**拟合目标**|
|
||
|---|---|---|---|
|
||
|**主成分**|直线 (Line)|**线性**|方差最大化 / 线性重构误差最小|
|
||
|**主曲线**|曲线 (Curve)|**非线性**|穿过数据中心的非线性骨架|
|
||
|**主曲面**|曲面 (Surface)|**非线性**|覆盖数据分布的非线性薄膜|
|
||
|
||
**通俗理解：**
|
||
|
||
想象一团像“香蕉”形状的散点图：
|
||
|
||
1. **主成分**会穿过香蕉中心画一根**直棍子**（拟合得很差）。
|
||
|
||
2. **主曲线**会画一根**弯曲的香蕉芯**（完美描述趋势）。
|
||
|
||
3. **主曲面**如果这是一堆分布在香蕉皮上的点，它会还原出整张**香蕉皮**。
|
||
|
||
|
||
|
||
**非负矩阵分解（Non-negative Matrix Factorization, NMF）** 是线性代数和机器学习中一种非常强大的分解技术。它的核心约束在于：**原始矩阵及分解后的所有矩阵中的元素都必须是非负的（$\ge 0$）**。
|
||
|
||
这一约束看似简单，却产生了一个神奇的特性：**“部分构成整体” (Parts-based representation)**。
|
||
|
||
---
|
||
|
||
## 1. 数学定义与公式
|
||
|
||
假设我们有一个原始数据矩阵 $V$，维度为 $m \times n$（例如 $m$ 个特征，$n$ 个样本）。NMF 的目标是找到两个非负矩阵 $W$ 和 $H$，使得它们的乘积近似等于 $V$：
|
||
|
||
$$V \approx W \times H$$
|
||
|
||
- **$V_{m \times n}$**：原始观测矩阵。
|
||
|
||
- **$W_{m \times k}$**：**基矩阵（Basis Matrix）**。它包含了数据的“特征”或“基石”。
|
||
|
||
- **$H_{k \times n}$**：**系数矩阵（Coefficient Matrix）**，也叫权重矩阵。它表示每个样本由哪些基石组合而成。
|
||
|
||
- **$k$**：分解的秩（Rank），通常由用户指定，满足 $k \ll \min(m, n)$，从而达到降维的目的。
|
||
|
||
|
||
### 核心约束：
|
||
|
||
$$W_{ik} \ge 0, \quad H_{kj} \ge 0$$
|
||
|
||
### 求解目标（损失函数）：
|
||
|
||
通常通过最小化 **欧氏距离** 或 **KL 散度** 来寻找最优的 $W$ 和 $H$：
|
||
|
||
$$\min_{W,H} \|V - WH\|^2 \quad \text{s.t. } W,H \ge 0$$
|
||
|
||
---
|
||
|
||
## 2. 为什么一定要“非负”？（NMF 的哲学）
|
||
|
||
在 PCA（主成分分析）中，特征向量里存在正负号，这意味着模型通过“相加”和“相减”来重构数据。但在物理世界中，很多东西只有“加”的意义。
|
||
|
||
**NMF 强制只许相加，不许相减**。这意味着：
|
||
|
||
1. **无法抵消**：你不能用一个负的特征去抵消另一个特征。
|
||
|
||
2. **局部特性**：为了组合成整体，基矩阵 $W$ 必须学习到数据的局部特征。
|
||
|
||
|
||
---
|
||
|
||
## 3. 详细举例说明
|
||
|
||
### A. 图像处理：人脸识别（最经典的例子）
|
||
|
||
想象 $V$ 矩阵的每一列是一张人脸照片的像素数据。
|
||
|
||
- **PCA 分解**：得到的基向量看起来像是一张张完整的、模糊的、甚至带有负影的“鬼脸”（特征脸）。
|
||
|
||
- **NMF 分解**：
|
||
|
||
- **基矩阵 $W$**：学习到的是人脸的**局部器官**。第一列可能是一只鼻子，第二列是一对眼睛，第三列是嘴巴。
|
||
|
||
- **系数矩阵 $H$**：记录了某张特定脸是如何由这些器官“拼装”出来的（比如：1份鼻子 + 1份眼睛 + 0.5份嘴巴）。
|
||
|
||
- **结果**：这种分解更符合人类直觉——脸是由器官组成的。
|
||
|
||
|
||
### B. 文本挖掘：主题模型（Topic Modeling）
|
||
|
||
假设 $V$ 矩阵的行是单词，列是文档。$V_{ij}$ 代表单词 $i$ 在文档 $j$ 中出现的频率。
|
||
|
||
- **基矩阵 $W$**：每一列代表一个**主题**。例如，主题 1 包含“芯片、算法、算力”等高权重词；主题 2 包含“法律、诉讼、条款”。
|
||
|
||
- **系数矩阵 $H$**：每一列代表一篇文档。如果文档 A 的第一行数值很高，说明文档 A 主要是关于“技术主题”的。
|
||
|
||
- **优点**：因为非负，所以结果非常容易解释（文档是多个主题的加权和）。
|
||
|
||
|
||
### C. 语音处理：音源分离
|
||
|
||
一段包含吉他、鼓声和人声的混合音频信号。
|
||
|
||
- **$V$**：音频的频谱图。
|
||
|
||
- **$W$**：可以学习到不同乐器的特征频谱模式。
|
||
|
||
- **$H$**：代表这些乐器在不同时间点出现的强度。
|
||
|
||
- 通过 NMF，我们可以把混合在一起的声音拆解成独立的声轨。
|
||
|
||
|
||
---
|
||
|
||
## 4. NMF 的算法实现过程
|
||
|
||
NMF 是一个非凸优化问题，通常使用 **乘性更新规则 (Multiplicative Update Rules)**：
|
||
|
||
1. **随机初始化** $W$ 和 $H$ 为非负值。
|
||
|
||
2. **固定 $W$ 更新 $H$**：通过 $H \leftarrow H \cdot \frac{W^T V}{W^T W H}$（点乘和点除）。
|
||
|
||
3. **固定 $H$ 更新 $W$**：通过 $W \leftarrow W \cdot \frac{V H^T}{W H H^T}$。
|
||
|
||
4. **重复迭代**，直到结果收敛。
|
||
|
||
|
||
---
|
||
|
||
## 总结
|
||
|
||
|**特性**|**描述**|
|
||
|---|---|
|
||
|**核心约束**|所有元素 $\ge 0$|
|
||
|**物理意义**|部分构成整体（无抵消效应）|
|
||
|**主要功能**|降维、特征提取、聚类（$H$ 矩阵可视为软聚类结果）|
|
||
|**弱点**|只有局部最优解；对 $k$ 的选择敏感|
|
||
|
||
|
||
别担心，这部分内容确实是机器学习中最“玄学”也最数学化的领域，因为它们都在试图解决一个终极问题：**如何从一堆乱七八糟的高维数据中，把最本质、最干净的信息“抠”出来。**
|
||
|
||
我们不需要钻进复杂的公式，先用直观的逻辑把它们梳理通。
|
||
|
||
---
|
||
|
||
## 1. 独立成分分析 (ICA, Independent Component Analysis)
|
||
|
||
**直观理解：鸡尾酒会效应。**
|
||
|
||
想象你在一个嘈杂的酒会上，有三个人同时说话，现场放了三个麦克风录音。每个麦克风录到的都是三个声音的混合。ICA 的目标就是通过这三段混合音频，把三个独立的声源完全还原出来。
|
||
|
||
- **核心逻辑**：它寻找的是比“正交”（PCA 的要求）更强的条件——**统计独立**。它假设原始信号是非高斯的，通过最大化非高斯性来分离信号。
|
||
|
||
- **应用**：脑电图（EEG）信号去噪（分离脑电和眼动伪迹）、金融市场独立因素挖掘。
|
||
|
||
|
||
---
|
||
|
||
## 2. 探索投影寻踪 (EPP, Exploratory Projection Pursuit)
|
||
|
||
**直观理解：寻找“最有意思”的观察视角。**
|
||
|
||
如果你从正面看一个球，它是个圆；从侧面看一个圆柱，它是个矩形。有些视角看到的数据分布很平庸（像正态分布），有些视角能看到明显的聚类或结构。
|
||
|
||
- **核心逻辑**：它不是盲目降维，而是定义一个“投影指数”（Index），用来衡量某种分布有多“有趣”。算法会自动旋转坐标系，直到找到那个能让你一眼看出数据内部结构的“神仙视角”。
|
||
|
||
- **应用**：高维数据的探索性空间分析。
|
||
|
||
|
||
---
|
||
|
||
## 3. 多维缩放 (MDS, Multidimensional Scaling)
|
||
|
||
**直观理解：根据“距离表”还原“地图”。**
|
||
|
||
假设我只给你一张表格，上面写着中国各个城市之间的**飞行距离**（比如北京到上海 1000km），但我没给你地图。MDS 的任务就是根据这些距离，在二维平面上把这些点画出来，使得点与点之间的图面距离尽可能等于你给我的实际距离。
|
||
|
||
- **核心逻辑**：**保持距离不变**。它认为只要点与点之间的相对距离保住了，数据的整体结构就保住了。
|
||
|
||
- **应用**：市场调研（分析消费者心中不同品牌的相似度）、社交网络分析。
|
||
|
||
|
||
## 4. 非线性降维 (Nonlinear Dimensionality Reduction)
|
||
|
||
这是一个大类，主要解决“瑞士卷”（Swiss Roll）问题。
|
||
|
||
想象一张卷起来的草席，在三维空间看，卷心和卷皮离得很近；但如果你把草席铺平，它们其实离得很远。
|
||
- **核心逻辑**：传统的 PCA 是直来直去的线性投影，会把卷在一起的数据“压扁”。非线性降维（如 **Isomap** 或 **LLE**）会顺着草席的纹理去测量距离（测地线距离），然后把它平展开。
|
||
- **应用**：图像流形学习、复杂物理系统建模。
|
||
|
||
## 5. 局部多维缩放 (Local MDS)
|
||
|
||
**直观理解：只管邻居，不管远亲。**
|
||
|
||
它是对普通 MDS 的优化。传统的 MDS 试图让**所有**点对之间的距离都精确，这在处理弯曲的数据（流形）时很痛苦。
|
||
- **核心逻辑**：它只要求**局部距离**（离得近的点）保持一致。只要每个小局部都对齐了，整体的非线性形状（比如那个“卷儿”）就能在降维后被拉平，而不会发生严重的畸变。
|
||
- **关系**：它其实是连接 MDS 与非线性降维（如 Isomap）的桥梁。
|
||
|
||
### 💡 快速总结对比表
|
||
|
||
|**算法**|**核心目标**|**绝活**|
|
||
|---|---|---|
|
||
|**ICA**|独立性|盲源分离（把混合的声音拆开）|
|
||
|**EPP**|有趣性|自动找最能看出规律的投影角度|
|
||
|**MDS**|距离保持|只有距离数据也能画出分布图|
|
||
|**非线性降维**|拓扑保持|把卷曲的数据“拉平”而不损坏结构|
|
||
|**Local MDS**|局部距离|专注于保持近邻关系，应对弯曲分布|
|