---
title: 05-大语言模型
tags:
  - 大语言模型
  - 深度学习
  - NLP
---

# 大语言模型

本文件夹收录大语言模型（LLM）的相关笔记，系统涵盖从 Tokenization 到世界模型的完整知识体系。

## 内容索引

### 1. Tokenization（分词）

| 文件 | 主题 |
|------|------|
| `1-tokenization/01-Tokenization.md` | BPE、SentencePiece、WordPiece 子词切分算法 |

### 2. 词向量（Word Vector）

| 文件 | 主题 |
|------|------|
| `2-word-vector/01-Word2Vec-GloVe.md` | 静态词向量学习（word2vec, GloVe） |

### 3. 上下文化表示（Contextual Embedding）

| 文件 | 主题 |
|------|------|
| `3-contextual-embedding/01-ELMo-BERT.md` | 上下文化表示（ELMo, BERT） |

### 4. 模型架构（Model Architecture）

| 文件 | 主题 |
|------|------|
| `4-model-architecture/01-GPT.md` | GPT 架构与因果语言模型 |
| `4-model-architecture/02-BERT.md` | BERT 与双向上下文建模 |

### 5. 推理方法（Reasoning）

| 文件 | 主题 |
|------|------|
| `5-reasoning/01-CoT-ToT.md` | CoT、Self-Consistency、Least-to-Most、Tree of Thoughts |
| `5-reasoning/02-Process-Supervision.md` | Verifier、Process Supervision、结果监督与过程监督 |

### 6. 对齐（Alignment）

| 文件 | 主题 |
|------|------|
| `6-alignment/01-RLHF-DPO.md` | RLHF、DPO、InstructGPT |
| `6-alignment/02-Constitutional-AI.md` | Constitutional AI、RLAIF、原则引导的对齐 |

### 7. 外部接入与 Agent（External Access & Agent）

| 文件 | 主题 |
|------|------|
| `7-external-access/01-RAG.md` | RAG、稠密检索、BM25、混合检索 |
| `7-external-access/02-Tool-Calling.md` | Toolformer、ReAct、工具调用与行动 |
| `7-external-access/03-Memory-Agent.md` | Generative Agents、MemGPT、层级记忆管理 |
| `7-external-access/04-World-Model.md` | 世界模型、状态转移、MCTS、RAP 推理 |

---

## 知识体系总览

```
大语言模型
├── 基础技术
│   ├── Tokenization（子词切分）
│   └── 词向量（静态表示）
├── 表示学习
│   └── 上下文化表示（ELMo → BERT）
├── 模型架构
│   ├── GPT（Decoder-only, AR 生成）
│   └── BERT（Encoder, 双向上下文）
├── 推理能力
│   ├── CoT/ToT（显式推理链/搜索树）
│   └── Process Supervision（步骤级信用分配）
├── 对齐技术
│   ├── RLHF/DPO（人类反馈对齐）
│   └── Constitutional AI/RLAIF（原则引导对齐）
└── 外部接入
    ├── RAG（检索增强生成）
    ├── Tool Calling（工具调用）
    ├── 记忆系统（Generative Agents/MemGPT）
    └── 世界模型（LLM 作为推理代理）
```