---
title: 静态词向量：Word2Vec 与 GloVe 的数学体系
draft: false
tags:
  - Word2Vec
  - GloVe
  - 词嵌入
  - NLP
  - 静态表示
---

# 静态词向量：Word2Vec 与 GloVe 的数学体系

---

## 一、从独热编码到分布式表示

### 1.1 独热编码的问题

**独热编码（One-Hot Encoding）**：

设词表大小为 $|V|$，词 $w_i$ 的独热向量为：
$$\mathbf{e}_i = [0, 0, \ldots, 1, \ldots, 0] \in \mathbb{R}^{|V|} \tag{1.1}$$

其中第 $i$ 个位置为 1，其余为 0。

**问题**：

1. **维度灾难**：词表通常数万到数十万，维度过高
2. **语义鸿沟**：所有词的正交基表示无法捕捉语义相似性
3. **分布稀疏**：只有一个非零元素，计算效率低

**核心问题**：独热编码假设所有词都是独立的，丢失了词之间的语义关系。

### 1.2 分布式表示的核心思想

**分布式表示（Distributed Representation）**：

每个词的语义不是由单一维度表示，而是**分布在多个维度上**。

**关键洞察**：

> 语义相似的词应该具有相似的向量表示。

**数学表示**：

设词 $w$ 的嵌入向量为 $\mathbf{v}_w \in \mathbb{R}^d$，其中 $d \ll |V|$。

相似性度量：
$$\text{sim}(w_i, w_j) = \frac{\mathbf{v}_{w_i}^\top \mathbf{v}_{w_j}}{\|\mathbf{v}_{w_i}\| \cdot \|\mathbf{v}_{w_j}\|} \tag{1.2}$$

这是余弦相似度，取值在 $[-1, 1]$ 之间。

### 1.3 分布假说

**分布假说（Distributional Hypothesis）**（Harris, 1954）：

> 出现在相似上下文中的词具有相似的语义。

**经典表述**：
- "You shall know a word by the company it keeps"（Firth, 1957）

**数学化**：

设 $c(w)$ 是词 $w$ 的上下文表示。如果两个词 $w_i$ 和 $w_j$ 的上下文分布 $P(c|w_i)$ 和 $P(c|w_j)$ 相似，则 $w_i$ 和 $w_j$ 的语义相似。

**这构成了所有词向量学习算法的理论基础**。

---

## 二、Word2Vec：跳字模型与连续词袋

### 2.1 语言模型基础

**语言模型**：

给定词序列 $w_1, w_2, \ldots, w_T$，语言模型学习联合概率分布：
$$P(w_1, w_2, \ldots, w_T) = \prod_{t=1}^T P(w_t | w_1, \ldots, w_{t-1}) \tag{2.1}$$

**n-gram 模型**：

近似为：
$$P(w_t | w_{t-1}, \ldots, w_{t-n+1}) \tag{2.2}$$

**问题**：n-gram 模型需要存储所有 n-gram 的频率，且无法处理长距离依赖。

### 2.2 Skip-gram 模型

**核心思想**（Mikolov et al., 2013）：

> 使用中心词预测上下文词。如果两个词的上下文相似，它们的向量就相似。

**数学定义**：

设中心词为 $w_t$，上下文（窗口大小为 $c$）为：
$$\text{context}(w_t) = \{w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c}\} \tag{2.3}$$

Skip-gram 的目标是最大化：
$$\mathcal{L} = \sum_{t=1}^T \sum_{-c \leq j \leq c, j \neq 0} \log P(w_{t+j} | w_t) \tag{2.4}$$

**条件概率定义**（softmax 形式）：

$$P(w_O | w_I) = \frac{\exp(\mathbf{v}_{w_O}^{\top (O)} \mathbf{v}_{w_I}^{(I)})}{\sum_{w=1}^{|V|} \exp(\mathbf{v}_w^{\top (O)} \mathbf{v}_{w_I}^{(I)})} \tag{2.5}$$

**Word2Vec 的双向量机制**：每个词 $w$ 有两个向量——输入向量 $\mathbf{v}_w^{(I)}$（用于作为中心词时）和输出向量 $\mathbf{v}_w^{(O)}$（用于作为上下文词时）。这在 Skip-gram 中尤为重要，因为中心词和上下文词的向量在公式中使用的是不同向量。

### 2.3 Skip-gram 的概率推导

**问题**：标准 softmax 的分母需要遍历整个词表（$|V| \approx 10^5$），计算代价极高。

**解决方案**：负采样（Negative Sampling）

**负采样目标**：

对于每个正样本 $(w_I, w_O)$（中心词-上下文词对），采样 $k$ 个负样本 $\{w_{O_i^-}\}_{i=1}^k$。

**定义（负采样损失）**：

$$\mathcal{L}_{\mathrm{SGNS}} = -\sum_{(w_I, w_O)} \left[ \log \sigma(\mathbf{v}_{w_O}^{\top (O)} \mathbf{v}_{w_I}^{(I)}) + \sum_{i=1}^k \mathbb{E}_{w_i^- \sim P_n} \log \sigma(-\mathbf{v}_{w_i^-}^{\top (O)} \mathbf{v}_{w_I}^{(I)}) \right] \tag{2.6}$$

其中 $\sigma(x) = \frac{1}{1 + e^{-x}}$ 是 sigmoid 函数，$P_n$ 是负采样分布（通常为 unigram 分布的 3/4 次幂）。负采样分布设计为 $P_n(w) \propto f(w)^{3/4}$，其中 $f(w)$ 是词 $w$ 的频率。这个 3/4 次幂设计是为了**降低高频词的采样概率，同时适度提升低频词的采样机会**，比简单使用频率分布效果更好。

### 2.4 连续词袋（CBOW）模型

**核心思想**：

> 使用上下文预测中心词。与 Skip-gram 相反。

**数学定义**：

$$\mathcal{L} = \sum_{t=1}^T \log P(w_t | w_{t-c}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+c}) \tag{2.8}$$

**条件概率**：

$$P(w_O | \text{context}) = \frac{\exp(\bar{\mathbf{v}}^\top \mathbf{v}_{w_O})}{\sum_{w=1}^{|V|} \exp(\bar{\mathbf{v}}^\top \mathbf{v}_w)} \tag{2.9}$$

其中 $\bar{\mathbf{v}}$ 是上下文的平均向量：
$$\bar{\mathbf{v}} = \frac{1}{2c} \sum_{-c \leq j \leq c, j \neq 0} \mathbf{v}_{w_j} \tag{2.10}$$

### 2.5 Skip-gram 与 CBOW 的对比

| 维度 | Skip-gram | CBOW |
|------|---------|------|
| **方向** | 中心词 $\rightarrow$ 上下文 | 上下文 $\rightarrow$ 中心词 |
| **适合场景** | 稀有词/小数据集 | 常见词/大数据集 |
| **训练速度** | 较慢（每个中心词对应多个样本） | 较快（每个位置只生成一个样本） |
| **对低频词的处理** | 更好（每个词都是学习目标） | 较差（上下文平均会平滑掉稀有词的信号，这使得 CBOW 对低频词的学习效果不如 Skip-gram） |

### 2.6 训练目标详解

**Skip-gram 的完整目标函数**：

$$\mathcal{J}(\theta) = \frac{1}{T} \sum_{t=1}^T \sum_{-c \leq j \leq c, j \neq 0} \log \frac{\exp(\mathbf{v}_{w_{t+j}}^{\top (O)} \mathbf{v}_{w_t}^{(I)})}{\sum_{w=1}^{|V|} \exp(\mathbf{v}_w^{\top (O)} \mathbf{v}_{w_t}^{(I)})} \tag{2.11}$$

**使用负采样近似后**：

对于每个训练对 $(w_t, w_{t+j})$：
1. 计算正样本分数：$\mathbf{v}_{w_{t+j}}^{\top (O)} \mathbf{v}_{w_t}^{(I)}$
2. 采样 $k$ 个负样本 $w_i^-$
3. 最小化损失：
$$\log \sigma(\mathbf{v}_{w_{t+j}}^{\top (O)} \mathbf{v}_{w_t}^{(I)}) + \sum_{i=1}^k \log \sigma(-\mathbf{v}_{w_i^-}^{\top (O)} \mathbf{v}_{w_t}^{(I)}) \tag{2.12}$$

### 2.7 Word2Vec 的层级 Softmax

**层级 Softmax**（另一加速方案）：

将词表组织为霍夫曼树（最优二叉树），叶节点是词。霍夫曼树的构建规则：根据词频（$f_w$）创建，叶节点的路径长度与词频成反比——高频词路径短，低频词路径长。到达每个词的路径长度约为 $O(\log |V|)$。

**定义（层级 Softmax 概率）**：

词 $w$ 的概率等于从根节点到叶节点路径上每个节点的 sigmoid 决策概率的乘积。每次决策使用一个辅助向量 $\mathbf{v}_n$。路径长度约为 $O(\log |V|)$，因此复杂度从 $O(|V|)$ 降到 $O(\log |V|)$。

---

## 三、GloVe：全局共现统计

### 3.1 GloVe 的核心思想

**GloVe**（Pennington et al., 2014）的全称是 **Global Vectors for Word Representation**。

**核心洞察**：

> 将词向量的学习建立在**全局共现矩阵**上，而不是像 Word2Vec 那样只依赖局部上下文。

**数学定义**：

设 $X \in \mathbb{R}^{|V| \times |V|}$ 是**共现矩阵**，其中 $X_{ij}$ 表示词 $i$ 和词 $j$ 在语料库中共同出现的次数。

**目标**：

学习词向量 $\mathbf{v}_i, \mathbf{\hat{v}}_j$，使得：
$$\mathbf{v}_i^\top \mathbf{\hat{v}}_j \approx \log(X_{ij}) \tag{3.1}$$

### 3.2 共现矩阵的构建

**定义（窗口共现）**：

给定窗口大小 $c$，对于语料库中的每个位置 $t$，更新：
$$X_{w_t, w_{t+j}} += \frac{1}{|j|} \quad \text{for } j \in \{-c, \ldots, -1, 1, \ldots, c\} \tag{3.2}$$

**距离衰减加权**：

远处的词贡献较小的权重：
$$\text{weight}(j) = \frac{1}{|j|} \tag{3.3}$$

**定义（全局共现向量）**：

$$X_i = \sum_{j} X_{ij} \tag{3.4}$$

这是词 $i$ 与所有其他词的共现总和。

### 3.3 GloVe 的损失函数

**初步损失函数**：

$$\mathcal{L} = \sum_{i,j} f(X_{ij}) \left( \mathbf{v}_i^\top \mathbf{\hat{v}}_j + b_i + \hat{b}_j - \log X_{ij} \right)^2 \tag{3.5}$$

其中 $b_i, \hat{b}_j$ 是偏置项。

**设计 $f(X_{ij})$ 的动机**：

1. **停止过度学习高频词**：当 $X_{ij}$ 很大时，不应该让这个共现主导损失
2. **处理零共现**：$X_{ij} = 0$ 时，$\log X_{ij}$ 是 $-\infty$，但这不应该有无限大的损失

**定义（断点加权函数）**：

$$f(x) = \begin{cases} (x / x_{\max})^\alpha & \text{if } x < x_{\max} \\ 1 & \text{otherwise} \end{cases} \tag{3.6}$$

推荐配置：$x_{\max} = 100$，$\alpha = 3/4$。

**这个函数确保**：
- 对于罕见的共现（$x$ 很小），$f(x)$ 接近 0，但不为 0
- 对于常见的共现，$f(x) = 1$（截断饱和）
- 中等频率的共现有适当的权重

### 3.4 GloVe 与 Word2Vec 的对比

| 维度 | Word2Vec | GloVe |
|------|---------|-------|
| **训练数据** | 局部窗口 | 全局共现矩阵 |
| **计算复杂度** | $O(T \cdot c \cdot k)$ | $O(|V|^2)$（矩阵分解） |
| **目标函数** | 条件对数似然 | 最小二乘回归（对数共现） |
| **表示** | 两个矩阵（输入/输出向量） | 通常使用 $\mathbf{v}_i$ 与 $\mathbf{\hat{v}}_j$ 的融合向量 $\frac{\mathbf{v}_i + \mathbf{\hat{v}}_j}{2}$ |

**GloVe 双向对称性**：共现矩阵 $X$ 是对称的，即 $X_{ij} = X_{ji}$。这意味着词 $i$ 对词 $j$ 的共现次数与词 $j$ 对词 $i$ 的共现次数相同。在训练完成后，通常使用 $(\mathbf{v}_i + \mathbf{\hat{v}}_j)/2$ 进行推理，以利用双向信息。
| **稀疏性处理** | 负采样隐式处理 | 需要特殊处理零共现 |

### 3.5 GloVe 的数学推导

**从矩阵分解角度**：

共现矩阵 $X$ 的对数形式可以分解为：
$$\log X \approx U \Sigma V^\top \tag{3.7}$$

取前 $d$ 个奇异值：
$$\log X \approx U_d \Sigma_d V_d^\top \tag{3.8}$$

**这等价于**：

令 $\mathbf{v}_i = U_d(i,:) \sqrt{\Sigma_d}$，$\mathbf{\hat{v}}_j = V_d(j,:)^\top \sqrt{\Sigma_d}$，则：
$$\mathbf{v}_i^\top \mathbf{\hat{v}}_j \approx (\log X)_{ij} \tag{3.9}$$

**GloVe 的创新**：不直接做 SVD（计算量 $O(|V|^3)$），而是使用 SGD 直接优化。

### 3.6 共现概率与语义相似性

**定义（共现比率）**：

$$P_{ij} = \frac{X_{ik}}{X_jk} = \frac{P(k|i)}{P(k|j)} \quad \text{for any } k \tag{3.10}$$

**语义解释**：

- 当 $P_{ij} \gg 1$ 时，词 $i$ 比词 $j$ 更常与 $k$ 共现
- 当 $P_{ij} \ll 1$ 时，情况相反
- 当 $P_{ij} \approx 1$ 时，$i$ 和 $j$ 与 $k$ 的共现关系相似

**GloVe 捕捉这个比率**：

通过学习使得：
$$\mathbf{v}_i^\top \mathbf{\hat{v}}_j + b_i + \hat{b}_j \approx \log X_{ij} \tag{3.11}$$

可以验证这等价于：
$$\mathbf{v}_i^\top \mathbf{\hat{v}}_j \approx \log \frac{X_{ik}}{X_{jk}} \quad \text{(for appropriate } k) \tag{3.12}$$

---

## 四、训练过程与实现细节

### 4.1 Word2Vec 的训练流程

**Algorithm: Word2Vec (Skip-gram with Negative Sampling)**

**输入**：语料库 $C$，嵌入维度 $d$，窗口大小 $c$，负样本数 $k$，学习率 $\eta$

**初始化**：
1. 随机初始化所有词的输入向量 $\mathbf{v}_w \sim \mathcal{N}(0, 0.1)$
2. 初始化输出向量（或共享输入向量，取决于架构）

**训练**：
```
for each epoch:
    for each sentence (w_1, ..., w_T) in C:
        for each position t = 1 to T:
            # 中心词
            w_I = w_t

            # 正样本
            for each j in [-c, c], j != 0:
                w_O = w_{t+j}

                # 负采样
                for i = 1 to k:
                    w_i^- ~ P_n(w)  # unigram^3/4

                # 更新向量
                g = eta * (sigma(v_O^T v_I) - 1) * v_O  # 正样本梯度
                g_i = eta * sigma(-v_i^-^T v_I) * v_i^-  # 负样本梯度

                v_I = v_I - g - sum(g_i)
                v_O = v_O - g
                v_i^- = v_i^- - g_i
```

### 4.2 GloVe 的训练流程

**Algorithm: GloVe Training**

**输入**：语料库 $C$，嵌入维度 $d$，窗口大小 $c$，学习率 $\eta$

**步骤 1：构建共现矩阵**
```
X = zeros(|V|, |V|)
for each sentence in C:
    for each position t:
        for each offset j in [-c, c], j != 0:
            X[w_t, w_{t+j}] += 1 / |j|
```

**步骤 2：最小二乘优化**
```
# 随机初始化
v_i, hat_v_j ~ N(0, 0.1)
b_i, hat_b_j ~ zeros

for each epoch:
    # 采样非零元素
    (i, j) = sample_from_X()

    # 计算预测误差
    pred = v_i^T hat_v_j + b_i + hat_b_j - log(X[i,j])

    # 加权梯度
    weight = f(X[i,j])
    grad = weight * pred

    # 更新
    v_i -= eta * grad * hat_v_j
    hat_v_j -= eta * grad * v_i
    b_i -= eta * weight * pred
    hat_b_j -= eta * weight * pred
```

### 4.3 训练中的常见问题

**问题 1：高频词主导**

- **表现**：如 "the", "a", "is" 等词占据了绝大多数共现
- **影响**：学到的向量被这些高频词主导

**GloVe 解决方案**：断点加权函数 $f(X_{ij})$（式 3.6）

**Word2Vec 解决方案**：对高频词进行下采样，以概率 $P(w) = 1 - \sqrt{t / f_w}$ 跳过，其中 $f_w$ 是词 $w$ 的频率，$t$ 是频率阈值（通常为 $10^{-5}$）。这个公式确保高频词被更频繁地跳过，但不会被完全排除。

**问题 2：罕见词表示差**

- **表现**：低频词的向量没有被充分训练

**解决方案**：
1. 增加罕见词的采样概率
2. 使用上下文加权

**问题 3：训练不收敛**

- **表现**：损失不下降或 NaN

**解决方案**：
1. 降低学习率
2. 梯度裁剪
3. 使用 Adagrad/Adam 等自适应学习率优化器

### 4.4 超参数影响

| 超参数 | 典型值 | 影响 |
|--------|--------|------|
| **嵌入维度 $d$** | 50-300 | 维度越高表达能力越强，但也容易过拟合 |
| **窗口大小 $c$** | 5-15 | 越大考虑更多上下文，但也引入更多噪声 |
| **负样本数 $k$** | 5-20 | Skip-gram 常用 5-15 |
| **最小词频** | 5-50 | 过滤掉极低频词 |
| **学习率** | 0.001-0.05 | 过高会导致不收敛 |

---

## 五、词向量的评估与应用

### 5.1 评估任务

**词相似度评估**：

常用数据集：WordSim-353, SimLex-999, MEN, TRUKES

**定义（相似度指标）**：

给定人工标注的相似度分数 $s_{ij}$ 和模型预测的余弦相似度 $\hat{s}_{ij}$：

**Spearman 相关系数**：
$$\rho = 1 - \frac{6 \sum d_i^2}{n(n^2-1)} \tag{5.1}$$

其中 $d_i$ 是两个排序的差异。

### 5.2 类比任务（Analogy）

**词类比任务**（Mikolov et al., 2013）：

> "man is to king as woman is to ?"

**数学定义**：

$$\text{queen} = \arg\max_{w} \cos(\mathbf{v}_w, \mathbf{v}_{king} - \mathbf{v}_{man} + \mathbf{v}_{woman}) \tag{5.2}$$

**评估指标**：

$$\text{Accuracy} = \frac{\# \text{正确预测的类比}}{\# \text{总类比}} \tag{5.3}$$

### 5.3 向量空间的几何性质

**性质 1：语义可加性**：

$$\mathbf{v}_{\text{巴黎}} + \mathbf{v}_{\text{德国}} - \mathbf{v}_{\text{法国}} \approx \mathbf{v}_{\text{柏林}} \tag{5.4}$$

这解释了为什么 Skip-gram 学到的向量具有"语义可加性"。

**性质 2：聚类结构**：

相似语义的词在向量空间中聚集形成簇。

**性质 3：性别/时态等二维子空间**：

$$\mathbf{v}_{\text{男人}} - \mathbf{v}_{\text{女人}} \approx \mathbf{v}_{\text{国王}} - \mathbf{v}_{\text{女王}} \tag{5.5}$$

这表明某些语义维度（如性别）在线性方向上有规律。

### 5.4 预训练词向量的使用

**加载预训练向量**：

```python
# 使用 GloVe
embeddings = {}
with open('glove.6B.300d.txt') as f:
    for line in f:
        values = line.split()
        word = values[0]
        vector = np.asarray(values[1:], dtype='float32')
        embeddings[word] = vector
```

**处理 OOV**：

```python
def get_embedding(word, embeddings, dim):
    if word in embeddings:
        return embeddings[word]
    else:
        return np.random.randn(dim) * 0.01  # 随机初始化
```

---

## 六、静态词向量与上下文化表示的对比

### 6.1 静态词向量的局限

**核心问题**：

同一个词在不同的上下文中，静态词向量是**相同的**。

**反例**：

- "bank"（河岸）vs "bank"（银行）：应该有不同的表示
- "run"（动词跑步）vs "run"（名词溪流）：应该有不同的表示

**数学表示**：

对于同一词 $w$ 在不同上下文 $c_1$ 和 $c_2$ 中，静态词向量满足 $\mathbf{v}_w^{(c_1)} = \mathbf{v}_w^{(c_2)} = \mathbf{v}_w$。这忽略了语义的可变性。

### 6.2 解决方案

**方案 1：多义词向量**（不常用）

让一个词对应多个向量，但这增加了模型复杂度。

**方案 2：上下文化表示**（ELMo、BERT）

每个词的表示依赖于其上下文：
$$\mathbf{v}_{w,t}^{\text{ctx}} = f(\text{上下文}) \tag{6.2}$$

这是下一份笔记的主题。

---

## 七、数学公式速查

### 7.1 Word2Vec 公式

**Skip-gram 条件概率**：
$$P(w_O | w_I) = \frac{\exp(\mathbf{v}_{w_O}^{\top (O)} \mathbf{v}_{w_I}^{(I)})}{\sum_{w=1}^{|V|} \exp(\mathbf{v}_w^{\top (O)} \mathbf{v}_{w_I}^{(I)})} \tag{7.1}$$

**负采样损失**：
$$\mathcal{L} = -\sum_{(w_I, w_O)} \left[ \log \sigma(\mathbf{v}_{w_O}^{\top (O)} \mathbf{v}_{w_I}^{(I)}) + \sum_{i=1}^k \mathbb{E}_{w_i^- \sim P_n} \log \sigma(-\mathbf{v}_{w_i^-}^{\top (O)} \mathbf{v}_{w_I}^{(I)}) \right] \tag{7.2}$$

### 7.2 GloVe 公式

**共现矩阵**：
$$X_{ij} = \sum_{t} \frac{1}{|j|} \cdot \mathbf{1}_{|w_t - w_{t+j}| = |j|} \tag{7.3}$$

**加权损失函数**：
$$\mathcal{L} = \sum_{i,j} f(X_{ij}) \left( \mathbf{v}_i^\top \mathbf{\hat{v}}_j + b_i + \hat{b}_j - \log X_{ij} \right)^2 \tag{7.4}$$

**断点加权函数**：
$$f(x) = \begin{cases} (x / x_{\max})^{3/4} & \text{if } x < x_{\max} \\ 1 & \text{otherwise} \end{cases} \tag{7.5}$$

### 7.3 相似度度量

**余弦相似度**：
$$\text{sim}(\mathbf{v}_i, \mathbf{v}_j) = \frac{\mathbf{v}_i^\top \mathbf{v}_j}{|\mathbf{v}_i| |\mathbf{v}_j|} \tag{7.6}$$

**Spearman 相关系数**：
$$\rho = 1 - \frac{6 \sum d_i^2}{n(n^2-1)} \tag{7.7}$$

---

## 八、总结

**Word2Vec 与 GloVe 的核心差异**：

| 方面 | Word2Vec | GloVe |
|------|---------|-------|
| **理论基础** | 局部上下文预测 | 全局共现统计 |
| **优化目标** | 条件对数似然 | 加权最小二乘回归 |
| **训练方式** | 随机采样 + SGD | 矩阵预计算 + SGD |
| **表示能力** | 相似词有相似向量 | 相似词有相似向量 |

**共同点**：

1. 都产生**静态词向量**——同一个词在不同上下文中表示相同
2. 都利用了**分布假说**——相似的词有相似的上下文
3. 都产生**线性子空间**——词义关系可以在向量加减中体现

**局限性**：

1. 无法处理一词多义
2. 无法捕捉长距离依赖
3. 静态表示无法适应特定任务

**这是下一份笔记（ELMo 和 BERT）的动机**。

---

**延伸阅读**：

1. Mikolov et al., "Efficient Estimation of Word Representations in Vector Space" (2013) — Word2Vec
2. Mikolov et al., "Distributed Representations of Words and Phrases and their Compositionality" (2013) — Skip-gram
3. Pennington et al., "GloVe: Global Vectors for Word Representation" (EMNLP 2014)
4. Levy & Goldberg, "Neural Word Embedding as Implicit Matrix Factorization" (NIPS 2014) — 解释了 Word2Vec 与矩阵分解的联系
5. Rong, "word2vec Parameter Learning Explained" (2016) — 详细的梯度推导