88 lines
2.7 KiB
Markdown
88 lines
2.7 KiB
Markdown
---
|
||
title: 05-大语言模型
|
||
tags:
|
||
- 大语言模型
|
||
- 深度学习
|
||
- NLP
|
||
---
|
||
|
||
# 大语言模型
|
||
|
||
本文件夹收录大语言模型（LLM）的相关笔记，系统涵盖从 Tokenization 到世界模型的完整知识体系。
|
||
|
||
## 内容索引
|
||
|
||
### 1. Tokenization（分词）
|
||
|
||
| 文件 | 主题 |
|
||
|------|------|
|
||
| `1-tokenization/01-Tokenization.md` | BPE、SentencePiece、WordPiece 子词切分算法 |
|
||
|
||
### 2. 词向量（Word Vector）
|
||
|
||
| 文件 | 主题 |
|
||
|------|------|
|
||
| `2-word-vector/01-Word2Vec-GloVe.md` | 静态词向量学习（word2vec, GloVe） |
|
||
|
||
### 3. 上下文化表示（Contextual Embedding）
|
||
|
||
| 文件 | 主题 |
|
||
|------|------|
|
||
| `3-contextual-embedding/01-ELMo-BERT.md` | 上下文化表示（ELMo, BERT） |
|
||
|
||
### 4. 模型架构（Model Architecture）
|
||
|
||
| 文件 | 主题 |
|
||
|------|------|
|
||
| `4-model-architecture/01-GPT.md` | GPT 架构与因果语言模型 |
|
||
| `4-model-architecture/02-BERT.md` | BERT 与双向上下文建模 |
|
||
|
||
### 5. 推理方法（Reasoning）
|
||
|
||
| 文件 | 主题 |
|
||
|------|------|
|
||
| `5-reasoning/01-CoT-ToT.md` | CoT、Self-Consistency、Least-to-Most、Tree of Thoughts |
|
||
| `5-reasoning/02-Process-Supervision.md` | Verifier、Process Supervision、结果监督与过程监督 |
|
||
|
||
### 6. 对齐（Alignment）
|
||
|
||
| 文件 | 主题 |
|
||
|------|------|
|
||
| `6-alignment/01-RLHF-DPO.md` | RLHF、DPO、InstructGPT |
|
||
| `6-alignment/02-Constitutional-AI.md` | Constitutional AI、RLAIF、原则引导的对齐 |
|
||
|
||
### 7. 外部接入与 Agent（External Access & Agent）
|
||
|
||
| 文件 | 主题 |
|
||
|------|------|
|
||
| `7-external-access/01-RAG.md` | RAG、稠密检索、BM25、混合检索 |
|
||
| `7-external-access/02-Tool-Calling.md` | Toolformer、ReAct、工具调用与行动 |
|
||
| `7-external-access/03-Memory-Agent.md` | Generative Agents、MemGPT、层级记忆管理 |
|
||
| `7-external-access/04-World-Model.md` | 世界模型、状态转移、MCTS、RAP 推理 |
|
||
|
||
---
|
||
|
||
## 知识体系总览
|
||
|
||
```
|
||
大语言模型
|
||
├── 基础技术
|
||
│ ├── Tokenization（子词切分）
|
||
│ └── 词向量（静态表示）
|
||
├── 表示学习
|
||
│ └── 上下文化表示（ELMo → BERT）
|
||
├── 模型架构
|
||
│ ├── GPT（Decoder-only, AR 生成）
|
||
│ └── BERT（Encoder, 双向上下文）
|
||
├── 推理能力
|
||
│ ├── CoT/ToT（显式推理链/搜索树）
|
||
│ └── Process Supervision（步骤级信用分配）
|
||
├── 对齐技术
|
||
│ ├── RLHF/DPO（人类反馈对齐）
|
||
│ └── Constitutional AI/RLAIF（原则引导对齐）
|
||
└── 外部接入
|
||
├── RAG（检索增强生成）
|
||
├── Tool Calling（工具调用）
|
||
├── 记忆系统（Generative Agents/MemGPT）
|
||
└── 世界模型（LLM 作为推理代理）
|
||
``` |