Notes/机器学习/深度学习模型/05-大语言模型/index.md

title, tags

title	tags
05-大语言模型	大语言模型 深度学习 NLP

大语言模型

本文件夹收录大语言模型（LLM）的相关笔记，系统涵盖从 Tokenization 到世界模型的完整知识体系。

内容索引

1. Tokenization（分词）

文件	主题
1-tokenization/01-Tokenization.md	BPE、SentencePiece、WordPiece 子词切分算法

2. 词向量（Word Vector）

文件	主题
2-word-vector/01-Word2Vec-GloVe.md	静态词向量学习（word2vec, GloVe）

3. 上下文化表示（Contextual Embedding）

文件	主题
3-contextual-embedding/01-ELMo-BERT.md	上下文化表示（ELMo, BERT）

4. 模型架构（Model Architecture）

文件	主题
4-model-architecture/01-GPT.md	GPT 架构与因果语言模型
4-model-architecture/02-BERT.md	BERT 与双向上下文建模

5. 推理方法（Reasoning）

文件	主题
5-reasoning/01-CoT-ToT.md	CoT、Self-Consistency、Least-to-Most、Tree of Thoughts
5-reasoning/02-Process-Supervision.md	Verifier、Process Supervision、结果监督与过程监督

6. 对齐（Alignment）

文件	主题
6-alignment/01-RLHF-DPO.md	RLHF、DPO、InstructGPT
6-alignment/02-Constitutional-AI.md	Constitutional AI、RLAIF、原则引导的对齐

7. 外部接入与 Agent（External Access & Agent）

文件	主题
7-external-access/01-RAG.md	RAG、稠密检索、BM25、混合检索
7-external-access/02-Tool-Calling.md	Toolformer、ReAct、工具调用与行动
7-external-access/03-Memory-Agent.md	Generative Agents、MemGPT、层级记忆管理
7-external-access/04-World-Model.md	世界模型、状态转移、MCTS、RAP 推理

---

知识体系总览

大语言模型
├── 基础技术
│   ├── Tokenization（子词切分）
│   └── 词向量（静态表示）
├── 表示学习
│   └── 上下文化表示（ELMo → BERT）
├── 模型架构
│   ├── GPT（Decoder-only, AR 生成）
│   └── BERT（Encoder, 双向上下文）
├── 推理能力
│   ├── CoT/ToT（显式推理链/搜索树）
│   └── Process Supervision（步骤级信用分配）
├── 对齐技术
│   ├── RLHF/DPO（人类反馈对齐）
│   └── Constitutional AI/RLAIF（原则引导对齐）
└── 外部接入
    ├── RAG（检索增强生成）
    ├── Tool Calling（工具调用）
    ├── 记忆系统（Generative Agents/MemGPT）
    └── 世界模型（LLM 作为推理代理）