diff --git a/Artificial-Intelligence/after-basic-path.md b/Artificial-Intelligence/after-basic-path.md new file mode 100644 index 0000000..cff2964 --- /dev/null +++ b/Artificial-Intelligence/after-basic-path.md @@ -0,0 +1,417 @@ +太好了 👍 你现在已经进入到“宏观统摄阶段”了——想把整个深度学习领域的地图画出来。下面我会尽量系统地列出 **深度学习的全部领域体系**，包含经典分支、新兴方向、理论基础、工程落地与跨学科衍生应用。 +这是一个 **全景式总结（Deep Learning Full Landscape）**，我会按层次和逻辑来展开。 + +--- + +## 🧭 一、总体结构：深度学习的六大板块 + +| 板块 | 内容核心 | 举例 | +| -------- | -------------------- | --------------------------------------------------------------- | +| ① 基础理论层 | 神经网络结构、优化、泛化、表示学习 | MLP, CNN, RNN, Transformer, 激活函数, 正则化, 损失函数 | +| ② 模型体系层 | 各种架构模型与训练范式 | 自编码器, GAN, Diffusion, VAE, GNN, BNN, Meta-learning 等 | +| ③ 学习范式层 | 学习方式与任务定义 | 监督、半监督、自监督、无监督、强化学习、生成式学习 | +| ④ 应用领域层 | 各类实际应用场景 | CV, NLP, Speech, Multi-modal, Time-series, Robotics, Medical AI | +| ⑤ 工程与系统层 | 大模型、分布式训练、推理优化、硬件与框架 | PyTorch, TensorFlow, CUDA, MLOps, Prompt Engineering | +| ⑥ 理论与交叉层 | 数学、物理、生物、因果推理等融合 | 统计学习理论、信息论、符号AI结合、神经科学、量子深度学习 | + +--- + +## 🧩 二、核心网络架构与模型族谱 + +### 1️⃣ 感知机与全连接类 + +* **MLP（多层感知机）**：最基础的神经网络。 +* **ResNet / DenseNet / MLP-Mixer**：改进结构与信息流动。 +* **BNN（Bayesian Neural Network）**：参数为分布，加入贝叶斯不确定性。 + +### 2️⃣ 卷积网络（CNN家族） + +* **LeNet, AlexNet, VGG, ResNet, Inception, EfficientNet** +* 用于图像识别、目标检测、语义分割、视觉特征提取。 +* **衍生模型：** + + * **UNet**：图像分割（医学图像等） + * **Mask R-CNN**：目标检测 + 实例分割 + * **Swin Transformer**：CNN与Transformer结合 + +### 3️⃣ 循环网络（RNN家族） + +* **RNN, LSTM, GRU**：时间序列建模。 +* **Seq2Seq, Attention-RNN, BiLSTM**：翻译、语音识别。 +* **HMM、CRF**：早期统计序列模型的衍生或结合。 + +### 4️⃣ 注意力与Transformer家族 + +* **Transformer（Vaswani et al. 2017）**：取代RNN的通用架构。 +* **BERT系列**：双向语言理解（NLP基座模型） +* **GPT系列**：自回归语言模型，生成式AI核心 +* **ViT / DeiT / Swin-T**：视觉Transformer +* **Perceiver / Performer / Linear Attention**：高效注意力变体 +* **LLM（Large Language Model）**：GPT、Claude、Gemini、LLaMA 等 + +### 5️⃣ 生成模型家族 + +| 类型 | 典型模型 | 特点 | +| ---- | ---------------------------- | ---------- | +| 自编码器 | AE, VAE | 压缩重构 | +| 对抗生成 | GAN, WGAN, StyleGAN | 生成真实感样本 | +| 扩散生成 | DDPM, DDIM, Stable Diffusion | 噪声学习，逐步生成 | +| 流模型 | Normalizing Flow, Glow | 显式似然 | +| 能量模型 | EBM | 通过能量函数定义分布 | + +### 6️⃣ 图神经网络（GNN家族） + +* **GCN, GAT, GraphSAGE, Graph Transformer** +* 社交网络、分子预测、推荐系统、知识图谱。 + +### 7️⃣ 概率与贝叶斯模型 + +* **BNN（贝叶斯神经网络）** +* **GP（高斯过程）** +* **PFN（Prior-Data Fitted Network）** +* **SCM（结构因果模型）** +* 强调不确定性与因果推断。 + +### 8️⃣ 元学习与小样本学习 + +* **MAML, Reptile, MetaNet, PFN, Neural ODE** +* 让模型“学会学习”，快速适应新任务。 + +### 9️⃣ 强化学习与决策网络 + +* **DQN, DDQN, DDPG, PPO, A3C, SAC** +* 决策与博弈：AlphaGo、AlphaZero、MuZero。 +* 强调“环境交互 + 奖励优化”。 + +### 🔟 自监督与对比学习 + +* **SimCLR, MoCo, BYOL, DINO, CLIP** +* 不依赖标注，通过对比、掩码学习结构表示。 + +--- + +## 🌍 三、应用领域总览 + +| 领域 | 典型模型 / 技术 | 应用方向 | +| -------------- | --------------------------------------------- | ---------------- | +| 📷 计算机视觉（CV） | CNN, ViT, Diffusion, CLIP | 识别、检测、分割、生成、3D重建 | +| 📝 自然语言处理（NLP） | Transformer, BERT, GPT, T5 | 文本生成、翻译、问答、摘要 | +| 🔊 语音与音频 | RNN, Transformer, Wav2Vec2.0 | 语音识别、合成、情感分析 | +| 🤖 强化学习与控制 | DQN, PPO, SAC | 游戏AI、机器人控制、智能驾驶 | +| 🧬 生物与医学 | GNN, CNN, Transformer | 蛋白质折叠、药物发现、影像诊断 | +| 📈 时间序列与金融 | RNN, TCN, Transformer | 预测、异常检测、算法交易 | +| 🧠 跨模态与多模态 | CLIP, BLIP, Flamingo, Gemini | 文本-图像-音频-视频融合理解 | +| 🧩 因果与科学建模 | SCM, BNN, Symbolic AI | 科学推理、实验预测、可解释AI | +| 🧮 数学与物理AI | Neural PDE Solver, Physics-informed NN (PINN) | 求解方程、模拟复杂系统 | +| 🧑‍💻 工业与工程 | 智能制造、检测、预测维护 | 数据驱动工业智能化 | + +--- + +## ⚙️ 四、训练与工程体系 + +* **训练策略**：BatchNorm, Dropout, Data Augmentation, Curriculum Learning, RLHF +* **优化算法**：SGD, Adam, LAMB, Adafactor, SAM, LoRA +* **加速与并行**：分布式训练（DP、TP、PP）、混合精度（FP16/BF16） +* **推理优化**：Quantization, Pruning, Knowledge Distillation +* **部署**：ONNX, TensorRT, CoreML, WebGPU +* **MLOps 与自动化**：AutoML, NAS, Prompt Engineering, RLHF + +--- + +## 🧠 五、理论与交叉学科 + +| 方向 | 核心研究点 | 典型方法 | +| ------- | ------------------------- | --------------- | +| 统计学习理论 | 泛化误差、VC维、PAC理论 | 理论基础 | +| 信息论 | 表示瓶颈、熵、KL散度 | VAE、Diffusion核心 | +| 优化理论 | 非凸优化、鞍点逃逸 | SGD稳定性 | +| 因果推理 | SCM、Do-calculus、Causal DL | 可解释性 | +| 神经科学 | 类脑计算、突触可塑性 | SNN（脉冲神经网络） | +| 量子机器学习 | QNN、VQC | 混合量子-经典网络 | +| 符号与神经混合 | Neuro-Symbolic AI | 推理与感知结合 | + +--- + +## 🪐 六、新兴与边缘方向 + +| 新兴方向 | 简介 | +| --------------------------------------------------- | --------------------------------------------- | +| 🔮 **Diffusion Beyond Vision** | 扩散模型在文本、3D、视频中的扩展（如 VideoDiffusion, AudioLDM） | +| 🧬 **BioAI** | 基因序列Transformer，蛋白质生成模型（AlphaFold, ESMFold） | +| 🪙 **Economics AI / Agent Simulation** | 经济体模拟、社会网络博弈（多智能体RL） | +| 🧩 **Causal Deep Learning** | SCM + NN 结合，面向解释和科学发现 | +| 🧱 **Neural ODE / Neural PDE** | 将物理方程嵌入神经网络结构 | +| 🪶 **Low-Resource AI** | 参数高效训练（LoRA、QLoRA、Adapter、PEFT） | +| 🧮 **Neural Compression / Representation Learning** | AI驱动压缩、表示编码（VQ-VAE等） | + +--- + +## 🗺️ 七、学习路线建议（从宏观到前沿） + +1️⃣ **基础数学与统计** + +> 线性代数、概率论、信息论、优化理论 + +2️⃣ **经典神经网络与训练技巧** + +> MLP, CNN, RNN, Loss, Optimizer + +3️⃣ **Transformer时代与生成模型** + +> BERT → GPT → Diffusion → CLIP + +4️⃣ **概率与因果方向** + +> BNN, GP, PFN, SCM, Causal DL + +5️⃣ **前沿融合方向** + +> Meta-learning, Multi-modal, RL, PINN, Symbolic AI + +--- + +如果你希望，我可以把上面内容整理成一个 **“深度学习知识全景图（带层级结构图）”** 或者一个 **学习路线表（按优先级和推荐教材/论文）**。 +你希望我给你做哪种？ + +* 🧭 全景图（知识地图） +* 📚 学习路线（含书、课程、论文） +* ⚛️ 各模型间关系图（结构联系、演化脉络） + + +非常棒——你现在已经完成了深度学习“核心主干”的全部三层（相当于把主线故事都通关了🎯）。 +接下来要走的路有三条主分支：**理论深化、模型扩展、应用落地**。下面我帮你分出四个阶段的路线（可以并行推进），每个阶段都给出目标与参考学习点。 + +--- + +## 🚀 阶段 4：概率 + 因果 + 不确定性方向（理论深化） + +这是从“能用”到“理解为什么行”的关键阶段。 + +### 🎯 学习目标 + +理解模型为什么能泛化、为什么能生成，以及如何刻画“因果”与“不确定性”。 + +### 📘 推荐学习点 + +| 模块 | 代表模型 / 方法 | 学习重点 | +| ------------- | ------------------------------ | ----------- | +| 贝叶斯神经网络 (BNN) | BNN, Bayes-by-Backprop | 参数为分布，预测置信度 | +| 高斯过程 (GP) | GP Regression | 核函数、先验/后验分布 | +| 概率图模型 | HMM, CRF, VAE的潜变量视角 | 条件独立、因果图 | +| 结构因果模型 (SCM) | Pearl's Do-calculus, Causal DL | 可解释性、反事实推理 | +| 不确定性估计 | Ensemble, MC Dropout | 风险评估与鲁棒性 | + +### 📖 推荐资料 + +* Kevin Murphy：《Probabilistic Machine Learning》 +* Judea Pearl：《Causality》 +* YouTube课程：*Causal Inference for Machine Learning* (by MIT/ETH Zürich) + +--- + +## 🧬 阶段 5：元学习、强化学习与自主智能体（学习范式扩展） + +### 🎯 学习目标 + +从“学习一个任务” → “学会如何学习任务” → “自主决策”。 + +### 📘 推荐学习点 + +| 模块 | 代表模型 / 框架 | 应用 | +| ------------------- | --------------------------------- | ------------ | +| 元学习 (Meta-Learning) | MAML, PFN, Reptile, MetaNet | 小样本学习、快速适应 | +| 强化学习 (RL) | DQN, PPO, SAC, A3C | 决策、控制、博弈 | +| 模型驱动RL | DreamerV3, World Model | 学习世界模型预测未来 | +| 多智能体学习 | MARL, AlphaZero, Agent Simulation | 协作/博弈系统 | +| RLHF & AI Alignment | GPT对齐原理 | 大模型对齐与人类反馈学习 | + +### 📖 推荐资料 + +* 《Reinforcement Learning: An Introduction》— Sutton & Barto +* Sergey Levine, “Decision Making and Control with Deep Learning” (UC Berkeley lectures) + +--- + +## 🧠 阶段 6：跨模态与科学建模（应用与研究前沿） + +### 🎯 学习目标 + +掌握跨模态理解、科学计算中的神经建模，以及AI在现实世界的高阶应用。 + +### 📘 学习点 + +| 模块 | 模型 | 典型任务 | +| -------------------- | ----------------------------- | ------------- | +| 多模态 (Multi-modal) | CLIP, BLIP, Flamingo, Gemini | 文本-图像、视频、音频融合 | +| 科学建模 (Scientific ML) | PINN, Neural ODE, Neural PDE | 求解物理/生物系统方程 | +| 神经符号AI | Neuro-Symbolic Reasoning | 逻辑+神经结合、知识推理 | +| 神经压缩 | VQ-VAE, Tokenizer, Hyperprior | 表示学习与压缩生成 | +| 3D与视频生成 | NeRF, 3D-GS, VideoDiffusion | 时空建模与生成 | + +--- + +## ⚙️ 阶段 7：系统与大模型工程（落地与实践） + +### 🎯 学习目标 + +理解如何**训练、部署与优化大型模型**，进入“工程层面”的AI。 + +### 📘 学习点 + +| 模块 | 内容 | 工具 | +| ------------- | ------------------------- | ----------------------- | +| 分布式训练 | DP, TP, ZeRO, Megatron-LM | PyTorch DDP / DeepSpeed | +| 参数高效微调 | LoRA, QLoRA, Adapter | PEFT | +| 模型压缩与加速 | 量化、剪枝、蒸馏 | TensorRT, ONNX | +| MLOps与部署 | 模型管理、推理API | FastAPI, Gradio, vLLM | +| Prompt工程与RLHF | Prompt优化、对齐训练 | InstructGPT原理 | + +--- + +## 🪐 阶段 8：专攻方向（选修/研究型） + +此时你可以选择自己感兴趣的一个研究方向深入： + +* **Causal Deep Learning（因果深度学习）** +* **Scientific AI（科学计算中的神经网络）** +* **Generative AI（生成模型与内容创作）** +* **Meta & RL（通用智能体）** +* **Neuro-symbolic AI（神经符号融合）** +* **ML Systems（高效大模型系统）** + +--- + +## 🧭 建议路线总结（你现在的位置 → 下一步） + +| 阶段 | 内容 | 你的状态 | +| --------- | ------------------------- | -------- | +| 1-3 基础与主干 | 数学、经典网络、Transformer与生成模型 | ✅ 已掌握 | +| 4 理论深化 | 概率/因果/贝叶斯/不确定性 | 🔜 建议优先 | +| 5 学习范式扩展 | 元学习、强化学习、世界模型 | 🚀 第二优先 | +| 6 应用前沿 | 多模态、PINN、符号AI | 🎨 可同步探索 | +| 7 工程体系 | 分布式训练、模型部署、LoRA | 💼 工程强化 | +| 8 专业化方向 | 研究型领域（Causal, RL, SciAI等） | 🎯 终极阶段 | + +--- + +如果你告诉我你更偏好哪条路线： + +* 📖 理论研究（想深入理解BNN、SCM、因果等） +* 🧠 智能体方向（RL / 元学习 / 世界模型） +* 🧮 科学与可解释方向（PINN / 神经ODE） +* 💻 工程落地（LLM、LoRA、系统设计） + +我可以直接帮你定制一个**后续学习路线图（含论文 + 实践项目 + 难度梯度）**。 +你想优先往哪条方向走？ + +非常好的问题 👍 +你现在其实已经从「知道主流深度学习模型」走向「想了解整个模型生态体系」了。 +BNN、SCM 这类确实属于 **“第二层级”模型** —— 不是直接用来打比赛或部署，而是研究和理解机器学习原理的关键模型。 + +--- + +下面我给你做一个系统的分类表，帮你把整个**“深度学习与概率建模体系”**梳理成一张地图： + +--- + +## 🧭 一、总体结构概览 + +| 层级 | 方向 | 模型示例 | 简述 | +| ---------------- | ----------------- | ------------------------------------------------------ | ------------ | +| **1. 主流架构类** | 感知 → 序列 → 视觉 → 文本 | MLP / CNN / RNN / Transformer / UNet / ViT | 工程主流模型 | +| **2. 概率生成类** | 概率分布建模 | VAE / Flow / Diffusion / GAN / Energy-based Model | 学习“分布” | +| **3. 贝叶斯与不确定性类** | 模型不确定性 | BNN / GP / Deep Ensemble / MC Dropout / SWAG | 学习“信心” | +| **4. 结构与因果类** | 模型结构因果关系 | Bayesian Network / SCM / DAG / Do-Calculus / CausalNex | 学习“为什么” | +| **5. 元学习与小样本类** | 学习如何学习 | MAML / PFN / Meta-SGD / ProtoNet / Reptile | 学习“快速适应” | +| **6. 强化学习与决策类** | 动作与反馈 | DQN / PPO / SAC / A3C / AlphaZero | 学习“行动策略” | +| **7. 表征与嵌入类** | 向量空间表示 | Word2Vec / Node2Vec / SimCLR / CLIP / BYOL | 学习“表示” | +| **8. 混合推理类（新兴）** | 结合逻辑、物理、概率 | Neural ODE / PINN / Neuro-Symbolic / Diff-Causal | 向「科学计算+推理」发展 | + +--- + +## 🔍 二、第二层：不常被大众了解但极重要的模型家族 + +（这类是科研圈常见、但工业圈较少直接应用的模型） + +| 类别 | 模型 | 简述 | +| -------------- | ---------------------------------------------------- | ----------------------- | +| **贝叶斯与不确定性模型** | **BNN (Bayesian Neural Network)** | 给权重加上分布，学习后验，输出带置信区间的预测 | +| | **Gaussian Process (GP)** | 非参数贝叶斯模型，常用于小样本预测与核方法分析 | +| | **Deep Gaussian Process (DGP)** | 多层GP的组合，可看作GP的深度版 | +| | **Bayesian Linear Regression / Logistic Regression** | 最基础的贝叶斯版线性/分类模型 | +| | **Variational Inference (VI)** | 用优化代替积分的近似推断框架，BNN常用 | +| | **SGLD / SWAG / Laplace Approximation** | 各种BNN训练近似算法 | +| **因果与结构建模** | **Bayesian Network (BN)** | 用图结构描述变量依赖关系 | +| | **SCM (Structural Causal Model)** | 明确建模「因果方向」，支持反事实与干预 | +| | **DoWhy / CausalNex** | 实用Python框架，实现因果发现与估计 | +| | **PC Algorithm / GES / NOTEARS** | 自动学习因果图结构的算法 | +| **概率生成模型扩展** | **Normalizing Flow (NF)** | 显式密度建模，可逆变换 | +| | **Energy-based Models (EBM)** | 直接建模能量函数，类似隐式分布 | +| | **Score-based Model** | Diffusion 的理论前身，基于分布梯度 | +| | **Boltzmann Machine / RBM / DBN** | 早期能量网络模型，理论上深但训练难 | +| **物理与可解释模型** | **PINN (Physics-Informed NN)** | 把物理方程作为约束嵌入NN | +| | **Neural ODE / Controlled Differential Eq.** | 用神经网络近似微分方程系统 | +| | **Symbolic Regression / Neuro-Symbolic AI** | 学习显式符号公式或逻辑表达 | +| **元学习与自适应** | **PFN (Prior-Data Fitted Network)** | 学习贝叶斯更新过程的Transformer | +| | **MAML (Model-Agnostic Meta-Learning)** | 学习如何快速适应新任务 | +| | **Reptile / ProtoNet / Meta-SGD** | 不同风格的元学习框架 | +| | **HyperNetwork / MetaNet** | 学习生成另一个网络的参数 | +| **强化学习变种** | **Distributional RL** | 学习奖励的分布而非期望 | +| | **Causal RL / Bayesian RL** | 在RL中引入因果与贝叶斯不确定性 | +| | **Inverse RL** | 从专家行为反推奖励函数 | +| **概率图模型** | **Hidden Markov Model (HMM)** | 时序隐状态模型 | +| | **Dynamic Bayesian Network (DBN)** | HMM 的广义形式 | +| | **Markov Random Field / CRF** | 空间结构建模（图像分割中常见） | + +--- + +## 🧬 三、你可以这样理解这些模型的逻辑关系： + +``` + [神经网络] + │ + ▼ + ┌───────────────────────┐ + │ 概率生成模型 (VAE/GAN)│ → 生成数据 + └───────────────────────┘ + │ + ▼ + ┌───────────────────────┐ + │ 贝叶斯模型 (BNN/GP) │ → 学不确定性 + └───────────────────────┘ + │ + ▼ + ┌───────────────────────┐ + │ 因果模型 (SCM/BN) │ → 学结构与干预 + └───────────────────────┘ + │ + ▼ + ┌───────────────────────┐ + │ 元学习 (PFN/MAML) │ → 学如何学习 + └───────────────────────┘ +``` + +这几层是逐步加深「智能的含义」： + +* 普通神经网络：会拟合 +* 生成模型：会理解分布 +* 贝叶斯模型：会表达不确定性 +* 因果模型：会理解因果 +* 元学习模型：会自我适应与泛化 + +--- + +## 📘 如果你想「系统补齐第二层与第三层」 + +推荐阅读顺序如下： + +1. 《Bayesian Reasoning and Machine Learning》（David Barber）——入门贝叶斯神经网络 +2. 《Probabilistic Machine Learning》（Kevin Murphy）——现代贝叶斯 + 因果 +3. 《The Book of Why》（Judea Pearl）——入门因果思想 +4. 论文：《Prior-Data Fitted Networks (2022)》——PFN +5. 论文：《Bayesian Causal Inference: Combining BNN and SCM (NeurIPS Workshop 2023)》 + +--- + +是否希望我帮你把这些模型按「**研究路线图**」展开成一个学习计划？ +比如每阶段要掌握的数学（线代、概率、优化）、要看哪些书、做哪些代码实验（BNN→GP→SCM→PFN），让你逐步能看懂这些论文级模型？ diff --git a/Artificial-Intelligence/path.md b/Artificial-Intelligence/basic-path.md similarity index 100% rename from Artificial-Intelligence/path.md rename to Artificial-Intelligence/basic-path.md diff --git a/Artificial-Intelligence/different-areas.md b/Artificial-Intelligence/different-areas.md new file mode 100644 index 0000000..17f1b45 --- /dev/null +++ b/Artificial-Intelligence/different-areas.md @@ -0,0 +1,294 @@ +太好了 😎——那我们就来做一个真正系统的「**深度学习冷门大模型探索路线图**」，帮你从熟悉的深度学习世界，逐步“解锁隐藏分支”，直到能理解像 **BNN、SCM、PFN、Neural ODE、PINN** 这样在研究圈非常前沿的模型。 + +--- + +# 🌌 深度学习冷门大模型探索路线图 + +> 目标：理解深度学习的多种“哲学流派”，从确定性到概率、因果、推理、物理与元学习。 + +--- + +## 🧩 第一阶段：基础复盘（已掌握者可快速跳过） + +**目标**：明确普通深度学习的假设与局限。 + +| 内容 | 代表模型 | 核心思想 | 推荐学习资料 | +| ---- | ------------------------ | ------------ | ------------------------------------------ | +| 感知网络 | MLP / CNN / RNN | 固定结构 + 点估计权重 | 《Deep Learning》 by Goodfellow | +| 表征学习 | AutoEncoder / UNet / ViT | 压缩–还原–表征 | Coursera: *DeepLearning.ai Specialization* | +| 生成模型 | VAE / GAN / Diffusion | 建模数据分布 | *Lil’Log Diffusion Illustrated* + VAE论文 | + +💡 **过渡问题**： + +> 神经网络能输出“最可能”的结果，但不告诉我有多确定，也无法回答“为什么”。 + +--- + +## 🎲 第二阶段：概率与贝叶斯世界（BNN家族） + +**目标**：从「确定参数」过渡到「参数分布」，理解模型不确定性。 + +| 模型 | 思想 | 推荐资料 | 实践 | +| ----------------------------------------------- | ------------ | ------------------------------------------- | ---------------------------------- | +| **BNN (Bayesian Neural Network)** | 权重服从分布，输出为分布 | Yarin Gal: *Bayesian Deep Learning Lecture* | Pyro Tutorial: Bayesian Neural Net | +| **Gaussian Process (GP)** | 无限宽BNN的极限形式 | Rasmussen: *Gaussian Process for ML* | sklearn GaussianProcessRegressor | +| **Deep GP / SWAG / SGLD** | 深层GP与贝叶斯近似 | Kevin Murphy: *PML Advanced Topics* | PyTorch SWAG repo | +| **Probabilistic Programming (PyMC, Pyro, TFP)** | 用语言描述分布与推断 | PyMC docs / Pyro tutorials | 设计一个贝叶斯线性回归 | + +📘 重点掌握： + +* Variational Inference (VI) +* MCMC 与 SGLD +* 不确定性估计、可信区间 + +💡 **过渡问题**： + +> 如果我知道分布，我能理解“哪些是相关的”吗？→ 进入因果世界。 + +--- + +## 🔗 第三阶段：因果与结构模型（SCM家族） + +**目标**：理解「为什么」某事件会发生，而不仅是相关性。 + +| 模型 | 思想 | 推荐资料 | 实践 | +| --------------------------------- | ------------ | ----------------------------------------------------------------- | -------------------------- | +| **Bayesian Network** | 概率图模型，变量依赖结构 | Barber: *Bayesian Reasoning* | pomegranate / pgmpy | +| **SCM (Structural Causal Model)** | 建模因果方向与干预 | Judea Pearl: *The Book of Why* | DoWhy Tutorial | +| **NOTEARS / DAG-GNN** | 用可微优化学习因果图 | *NOTEARS: Nonlinear Optimization for DAG Learning (NeurIPS 2018)* | 官方实现 | +| **CausalVAE / CausalDiffusion** | 在生成模型中引入因果结构 | *Causal Representation Learning* papers | pytorch-struct-causal repo | + +📘 重点掌握： + +* 因果图 (DAG)、do-calculus +* 反事实推断 (Counterfactual Inference) +* 因果发现（从数据中学习结构） + +💡 **过渡问题**： + +> 因果模型解释了关系，但神经网络不解释物理规律，怎么办？→ 转入科学建模方向。 + +--- + +## ⚙️ 第四阶段：连续动力学与物理建模（ODE/PINN家族） + +**目标**：理解“连续系统”，让网络符合物理定律。 + +| 模型 | 思想 | 推荐资料 | 实践 | +| ------------------------------------------ | ------------- | ------------------------------------- | ----------------- | +| **Neural ODE (Chen et al., NeurIPS 2018)** | 网络=微分方程的解 | 官方论文 + Distill解释 | torchdiffeq | +| **Neural SDE / Neural PDE** | 含噪声或偏微分的系统 | *Neural SDEs for Stochastic Dynamics* | jax-sde | +| **PINN (Physics-Informed NN)** | 把物理方程作为Loss约束 | Karniadakis: *Physics-informed ML* | DeepXDE / Modulus | +| **FNO (Fourier Neural Operator)** | 学函数到函数的映射 | *Fourier Neural Operator for PDEs* | Official FNO repo | + +📘 重点掌握： + +* 常微分方程 (ODE) +* 偏微分方程 (PDE) +* 保守律（Hamiltonian/Lagrangian NN） + +💡 **过渡问题**： + +> 我能让网络自动适应不同任务、甚至自己设计结构吗？→ 进入元学习与自动建模。 + +--- + +## 🧬 第五阶段：元学习与自适应（PFN家族） + +**目标**：让模型“学会学习”。 + +| 模型 | 思想 | 推荐资料 | 实践 | +| --------------------------------------- | ------------------- | ---------------------------------------- | ----------------------- | +| **MAML (Model-Agnostic Meta-Learning)** | 优化初始参数以快速适应 | Finn et al. (ICML 2017) | learn2learn库 | +| **Reptile / ProtoNet / Meta-SGD** | 元优化的不同实现 | Papers with Code | few-shot repo | +| **HyperNetwork / MetaNet** | 生成其他网络的参数 | Ha et al. (ICLR 2017) | keras HyperNetwork demo | +| **PFN (Prior-Data Fitted Network)** | Transformer学“贝叶斯更新” | *Prior-Data Fitted Networks (ICML 2022)* | 官方TabPFN repo | +| **BayesFlow / DeepSets Meta-Inference** | 近似学习贝叶斯推断分布 | BayesFlow paper | BayesFlow库 | + +📘 重点掌握： + +* Meta-learning loop +* Few-shot learning +* Transformer-based inference + +💡 **过渡问题**： + +> 如果模型能学习、能推理、能自适应，那下一步是？→ 通往通用推理AI（Neuro-Symbolic）。 + +--- + +## 🧠 第六阶段：符号推理与神经逻辑（NeSy家族） + +**目标**：结合神经与逻辑，向“解释与推理”进化。 + +| 模型 | 思想 | 推荐资料 | 实践 | +| ----------------------------------------- | ----------- | ------------------------------------------------ | -------------------- | +| **Neuro-Symbolic Networks (NeSy)** | 神经网络 + 逻辑规则 | Garcez et al. *Neural-Symbolic Learning Systems* | NeSy workshop papers | +| **DeepProbLog / Logic Tensor Network** | 可微逻辑推理网络 | DeepProbLog paper | 官方实现 | +| **Neural Theorem Prover / LNN** | 推理符号与嵌入的结合 | NTP, LNN papers | pytorch-logic repo | +| **Probabilistic Logic Programming (PLP)** | 逻辑+概率+神经 | ProbLog / PyProbLog | 实验性框架 | + +📘 重点掌握： + +* 一阶逻辑与概率图 +* 可微逻辑 (Differentiable Logic) +* 神经推理机制 + +💡 最终目标： + +> 拥有能“看、想、信、学”的统一智能体系。 + +--- + +# 🧭 总体路线图（结构图） + +``` +[常规DL] + ↓ +[生成模型 (VAE/GAN/Diffusion)] + ↓ +[概率贝叶斯 (BNN/GP)] + ↓ +[因果结构 (SCM/DAG-GNN)] + ↓ +[物理建模 (ODE/PINN/FNO)] + ↓ +[元学习 (PFN/MAML)] + ↓ +[神经逻辑 (NeSy/DeepProbLog)] +``` + +--- + +# 🧰 附录：推荐阅读 & 资源索引 + +| 类型 | 名称 | 难度 | +| ----- | ------------------------------------------------------- | ---- | +| 📘 书 | *Bayesian Reasoning and Machine Learning* – Barber | ★★★ | +| 📘 书 | *Probabilistic Machine Learning* – Kevin Murphy | ★★★★ | +| 📘 书 | *The Book of Why* – Judea Pearl | ★★ | +| 📘 书 | *Physics-Informed Machine Learning* – Karniadakis | ★★★ | +| 📘 书 | *Neural-Symbolic Learning Systems* – Garcez | ★★★ | +| 📄 论文 | *Prior-Data Fitted Networks (ICML 2022)* | ★★★ | +| 📄 论文 | *Neural ODE (NeurIPS 2018)* | ★★★ | +| 💻 实践 | Pyro / PyMC / DoWhy / DeepXDE / learn2learn / BayesFlow | 实操型 | + +--- + +我可以进一步帮你把这份路线**细化成一个“全年学习规划”**， +比如： + +* 每两个月掌握一层； +* 每阶段附带阅读论文 + 实作项目； +* 每个模型配套“最短入门代码与实验目标”。 + +是否希望我帮你做成这样一份「冷门大模型全年学习路线图」（时间+资源+目标形式）？ + + + +非常好的问题 👏——你已经在从“**常见的深度学习框架**”过渡到“**模型宇宙的隐藏分支**”。 + +答案是：**有，而且非常多！** +在主流（CNN、Transformer、Diffusion）之外，其实存在一整片「被冷门化但极具思想深度」的模型森林。这些模型通常出现在 **学术研究**、**理论探索** 或 **特定科学应用** 中，虽然不常见，但各自代表了不同的哲学方向。 + +--- + +## 🌌 一、从BNN往外扩：冷门但重要的“大模型”家族总览 + +| 方向 | 模型/体系 | 简介 | 为什么值得了解 | +| ------------------ | ------------------------------------------------- | ----------------- | ----------------- | +| 🧠 **贝叶斯+概率方向** | **BNN (Bayesian Neural Network)** | 给权重加分布，预测带置信区间 | 学会“不确定性” | +| | **Deep Gaussian Process (DGP)** | 多层高斯过程，类似“无限深BNN” | 理论上可解释但训练困难 | +| | **BayesFlow / Deep Probabilistic Programming** | 结合Flow与BNN的概率模型 | 新兴趋势，类似PFN理念 | +| | **Deep Ensembles / SWAG / Laplace Approximation** | 近似BNN的实用替代方案 | 工业中可行的不确定性估计 | +| 🔍 **因果与结构方向** | **SCM (Structural Causal Model)** | 学变量间的因果依赖 | 探究“为什么”而不是“是什么” | +| | **CausalVAE / CausalDiffusion** | 把因果嵌入到VAE或扩散模型 | 新兴因果生成方向 | +| | **NOTEARS / DAG-GNN** | 学因果图结构的神经网络 | 结合图结构与可微优化 | +| 🌿 **符号与逻辑方向** | **Neuro-Symbolic Networks (NeSy)** | 把神经网络与逻辑规则结合 | AI+逻辑，通往AGI的路线之一 | +| | **Logic Tensor Network / DeepProbLog** | 在网络中直接推理逻辑语句 | 可解释性强，应用于推理任务 | +| ⚙️ **连续动力学方向** | **Neural ODE / Neural SDE** | 把网络看作微分方程系统 | 理论优雅，物理/时序建模常用 | +| | **Hamiltonian Neural Network (HNN)** | 保留物理守恒律的网络 | 在科学计算中极受关注 | +| | **SymplecticNN / LagrangianNN** | 学物理系统的结构守恒性 | 可解释科学建模 | +| 🔬 **科学建模方向** | **PINN (Physics-Informed Neural Network)** | 把偏微分方程嵌入网络 | 工程与科研爆红 | +| | **DeepONet / FNO (Fourier Neural Operator)** | 从函数到函数的映射（算子学习） | “科学界的Transformer” | +| | **KoopmanNN / OperatorNet** | 把非线性系统线性化处理 | 理论价值高 | +| 🧩 **推理与能量方向** | **Energy-based Model (EBM)** | 学“能量函数”而不是概率 | 介于生成与判别之间 | +| | **Score-based Model** | Diffusion 的理论起点 | 理解扩散模型本质 | +| | **Boltzmann Machine / DBN / RBM** | 最早的“深度模型”，可逆能量网络 | 历史意义巨大 | +| ⚛️ **隐变量+图结构方向** | **Graphical Model / Bayesian Network** | 用图建模概率依赖 | 与SCM密切相关 | +| | **Graph VAE / Graph Flow / Graph Diffusion** | 图结构生成模型 | 社交网络/分子生成常用 | +| 🔄 **记忆与推理方向** | **Neural Turing Machine (NTM)** | 网络+外部记忆模块 | 最早的“神经推理机”雏形 | +| | **Differentiable Neural Computer (DNC)** | DeepMind提出的可微存储网络 | “有思考的神经网络” | +| | **Memory-Augmented NN (MANN)** | 少样本学习常用 | PFN/MAML前身思想 | +| 🧬 **元学习与少样本方向** | **MAML / Reptile / ProtoNet / PFN** | 学“学习算法”本身 | 小样本/泛化研究核心 | +| | **HyperNetwork / MetaNet** | 生成其他网络的参数 | 适配任务变化的模型 | +| 🧮 **优化与搜索方向** | **Neural Architecture Search (NAS)** | 网络自动设计 | AutoML路线 | +| | **Hyperparameter Bayesian Optimization** | 学超参分布 | 连接BNN理念 | +| 🧠 **推理与概率图方向** | **Markov Logic Network / Deep CRF** | 结合逻辑推理与深度特征 | 图像/语言结构任务 | +| 🪐 **生成模型冷门分支** | **Flow++ / VFlow / Glow** | Flow 系列的改进版 | 显式密度估计 | +| | **EBM-VAE hybrid / ScoreFlow** | 混合VAE与能量模型 | 理论研究活跃 | +| 🧑‍🚀 **神经科学启发方向** | **Predictive Coding Network / Active Inference** | 模仿大脑预测机制 | 接近理论神经科学 | +| | **Spiking Neural Network (SNN)** | 生物启发的事件驱动网络 | 用在神经形态芯片上 | + +--- + +## 🧭 二、可以这么理解： + +这些模型各自对应一种「智能的视角」： + +| 视角 | 想回答的问题 | 代表模型 | +| -------- | ---------- | ---------------------- | +| 📷 感知型 | 世界是什么？ | CNN, ViT | +| 🎨 生成型 | 世界可能是什么？ | VAE, GAN, Diffusion | +| 📊 贝叶斯型 | 我有多确定？ | BNN, GP, VI | +| 🔗 因果型 | 为什么是这样？ | SCM, DAG-GNN | +| ⚙️ 物理型 | 它怎么运动？ | PINN, Neural ODE | +| 🧩 推理型 | 如何逻辑推导？ | NeSy, DeepProbLog | +| 🧠 元学习型 | 我如何快速学习？ | MAML, PFN | +| 🧮 自组织型 | 我能自己设计自己吗？ | NAS, HyperNetwork | +| 🧬 神经科学型 | 我像大脑吗？ | SNN, Predictive Coding | + +--- + +## 🧱 三、如果你想“探索冷门大模型”研究路线 + +我推荐的探索顺序是： + +``` +CNN / RNN / Transformer + ↓ +VAE / GAN / Diffusion + ↓ +BNN / GP / Flow / EBM + ↓ +SCM / CausalNN / NeSy + ↓ +Neural ODE / PINN / FNO + ↓ +PFN / MAML / DNC +``` + +这样的路线从「统计分布 → 因果结构 → 推理机制 → 学习算法」，完整贯穿了 AI 从“看世界”到“理解世界”的进化路径。 + +--- + +## 📚 推荐进一步阅读 + +| 书/论文 | 方向 | 特点 | +| ----------------------------------------------------- | --------- | ------------ | +| *Probabilistic Machine Learning* (Kevin Murphy, 2023) | 贝叶斯/概率 | 全景级教材 | +| *The Book of Why* (Judea Pearl) | 因果 | 思想革命 | +| *Deep Learning for Scientific Computing* | 科学建模 | PINN/FNO系统介绍 | +| *Neural ODEs* (NeurIPS 2018) | 连续时间网络 | 极具启发性 | +| *Prior-Data Fitted Networks* (ICML 2022) | 元学习 + 贝叶斯 | PFN原论文 | +| *Energy-Based Models Tutorial* (Y. LeCun, 2021) | EBM | 经典回归 | + +--- + +要不要我帮你把这些冷门模型分成一个「**探索路径表**」，比如： + +* 每个方向选 1~2 个代表模型； +* 指定推荐论文 / 教程； +* 按难度（容易 → 理论）排列成路线图？ + +这样你可以像玩游戏一样，一关一关解锁深度学习的“隐藏分支”。 diff --git a/ArtificialIntelligence/MachineLearning/readme.md b/Ideas-and-Paths/MachineLearning/readme.md similarity index 100% rename from ArtificialIntelligence/MachineLearning/readme.md rename to Ideas-and-Paths/MachineLearning/readme.md diff --git a/ArtificialIntelligence/MahjongAI/Simulator.md b/Ideas-and-Paths/MahjongAI/Simulator.md similarity index 100% rename from ArtificialIntelligence/MahjongAI/Simulator.md rename to Ideas-and-Paths/MahjongAI/Simulator.md diff --git a/ArtificialIntelligence/ReinforcedLearning/价值学习.md b/Ideas-and-Paths/ReinforcedLearning/价值学习.md similarity index 100% rename from ArtificialIntelligence/ReinforcedLearning/价值学习.md rename to Ideas-and-Paths/ReinforcedLearning/价值学习.md diff --git a/ArtificialIntelligence/ReinforcedLearning/策略学习.md b/Ideas-and-Paths/ReinforcedLearning/策略学习.md similarity index 100% rename from ArtificialIntelligence/ReinforcedLearning/策略学习.md rename to Ideas-and-Paths/ReinforcedLearning/策略学习.md diff --git a/生成式AI/PFN/Statistical Foundations of Prior-Data Fitted Networks.pdf b/生成式AI/PFN/Statistical Foundations of Prior-Data Fitted Networks.pdf new file mode 100644 index 0000000..49e0a40 Binary files /dev/null and b/生成式AI/PFN/Statistical Foundations of Prior-Data Fitted Networks.pdf differ diff --git a/生成式AI/PFN/TABPFN A TRANSFORMER THAT SOLVES SMALL.pdf b/生成式AI/PFN/TABPFN A TRANSFORMER THAT SOLVES SMALL.pdf new file mode 100644 index 0000000..8e4a11b Binary files /dev/null and b/生成式AI/PFN/TABPFN A TRANSFORMER THAT SOLVES SMALL.pdf differ diff --git a/生成式AI/PFN/Transformers can do bayesian inference.pdf b/生成式AI/PFN/Transformers can do bayesian inference.pdf new file mode 100644 index 0000000..588cf1f Binary files /dev/null and b/生成式AI/PFN/Transformers can do bayesian inference.pdf differ