e2hang/Literature
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

New File

Browse Source
This commit is contained in:
e2hang
2025-11-03 16:31:07 +08:00
parent 5efdb0d85e
commit e8fc5dee41
17 changed files with 2383 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

36
Artificial-Intelligence/Conferences/readme.md Normal file
View File

@@ -0,0 +1,36 @@
好的，我帮你整理一个 **人工智能/机器学习方向的顶级学术会议表格** 📊，包含会议名称、全称、领域、主办机构、发布时间（每年举办时间）以及官网链接。这样你可以一眼掌握主要顶会。
| 序号 | 会议简称 | 全称 | 研究方向 | 主办方 | 举办时间 | 官网链接 |
| -- | ----------------- | -------------------------------------------------------------------- | -------------- | -------------------------------------- | ------ | ---------------------------------------------------------------------------------------------- |
| 1 | NeurIPS | Neural Information Processing Systems | 机器学习、深度学习、AI理论 | NeurIPS Foundation | 每年12月 | [https://neurips.cc](https://neurips.cc) |
| 2 | ICML | International Conference on Machine Learning | 机器学习、统计学习、深度学习 | International Machine Learning Society | 每年7月 | [https://icml.cc](https://icml.cc) |
| 3 | ICLR | International Conference on Learning Representations | 表征学习、深度学习 | ICLR | 每年4月 | [https://iclr.cc](https://iclr.cc) |
| 4 | CVPR | Computer Vision and Pattern Recognition | 计算机视觉、图像识别 | IEEE | 每年6月 | [http://cvpr2025.thecvf.com/](http://cvpr2025.thecvf.com/) |
| 5 | ICCV | International Conference on Computer Vision | 计算机视觉 | IEEE / CVF | 每两年10月 | [https://iccv2025.org/](https://iccv2025.org/) |
| 6 | ECCV | European Conference on Computer Vision | 计算机视觉 | Springer / CVF | 每两年8月 | [https://eccv2024.org/](https://eccv2024.org/) |
| 7 | ACL | Annual Meeting of the Association for Computational Linguistics | 自然语言处理、NLP | ACL | 每年7月 | [https://acl2025.org/](https://acl2025.org/) |
| 8 | EMNLP | Conference on Empirical Methods in Natural Language Processing | NLP、语言建模 | ACL | 每年11月 | [https://2025.emnlp.org/](https://2025.emnlp.org/) |
| 9 | NAACL | North American Chapter of the ACL | NLP | ACL | 每两年6月 | [https://naacl2024.org/](https://naacl2024.org/) |
| 10 | AAAI | AAAI Conference on Artificial Intelligence | 综合AI | AAAI | 每年2月 | [https://aaai.org/Conferences/AAAI-25/](https://aaai.org/Conferences/AAAI-25/) |
| 11 | IJCAI | International Joint Conference on Artificial Intelligence | 综合AI | IJCAI | 每两年8月 | [https://ijcai-25.org/](https://ijcai-25.org/) |
| 12 | KDD | Knowledge Discovery and Data Mining | 数据挖掘、机器学习应用 | ACM SIGKDD | 每年8月 | [https://www.kdd.org/](https://www.kdd.org/) |
| 13 | NeurIPS Workshops | NeurIPS Workshop Series | AI前沿专题 | NeurIPS Foundation | 每年12月 | [https://neurips.cc/Conferences/2025/Workshops](https://neurips.cc/Conferences/2025/Workshops) |
| 14 | CVPR Workshops | CVPR Workshop Series | 计算机视觉前沿专题 | IEEE / CVF | 每年6月 | [https://cvpr2025.thecvf.com/](https://cvpr2025.thecvf.com/) |
| 15 | ICASSP | International Conference on Acoustics, Speech, and Signal Processing | 信号处理、语音、音频 | IEEE | 每年5月 | [https://2025.ieeeicassp.org/](https://2025.ieeeicassp.org/) |
---
### 🔹 说明
1. **NeurIPS / ICML / ICLR** → ML/DL 核心理论和方法
2. **CVPR / ICCV / ECCV** → 计算机视觉顶会
3. **ACL / EMNLP / NAACL** → NLP 顶会
4. **AAAI / IJCAI** → 综合 AI（覆盖 RL、搜索、规划等方向）
5. **KDD / ICASSP** → 应用、数据挖掘、信号处理方向
6. **Workshops** → 顶会的专题分会，通常更前沿、更实验性
---
我可以帮你再做一个 **“AI顶会关注清单 + 每年必看论文推荐”表格**，把每个会议的最新高引用论文/重要论文列出来，这样你可以系统追踪最前沿进展。
你希望我帮你做这个吗？

275
Artificial-Intelligence/path.md Normal file
View File

@@ -0,0 +1,275 @@
啊，我明白你意思了 👍
你说的不是“具体模型家族”（比如GPT、Claude、Gemini），
而是想知道——**AI研究中必须掌握的“基座级架构与原理模型”**，
也就是像 **CNN、RNN、Transformer、VAE、GAN、Diffusion** 这样——
支撑整个深度学习体系的「核心模型原型（model archetypes）」。
非常好方向，这类知识是所有AI分支的**底层认知地图**。
下面我给你分门别类梳理出一份「必须知道的AI基座模型全图（含学习路线）」：
---
## 🧩 一、经典深度学习基座（感知–特征提取层）
| 类别 | 模型代表 | 核心思想 | 应用方向 |
| --------------------------------------- | --------------------------- | --------------------- | ------------ |
| **MLP（多层感知机）** | 1980s 起 | 全连接层 + 非线性激活 | 所有神经网络的起点。 |
| **CNN（卷积神经网络）** | LeNet, AlexNet, VGG, ResNet | 局部感受野 + 权值共享 | 图像识别、特征提取。 |
| **RNN（循环神经网络）** | Elman RNN, LSTM, GRU | 序列依赖建模 | 时间序列、文本、语音。 |
| **ResNet（残差网络）** | He et al., 2015 | 跳跃连接（skip connection） | 深层训练稳定、CV基础。 |
| **Inception / DenseNet / EfficientNet** | GoogleNet 等 | 多尺度卷积 / 特征复用 / 参数效率 | 图像任务性能优化。 |
👉 **建议学习路线**：
MLP → CNN → ResNet → RNN → LSTM → GRU
---
## 🧠 二、序列建模与注意力机制革命
| 类别 | 模型代表 | 核心思想 | 影响 |
| ------------------------ | ------------------------- | ------------- | ------------------ |
| **Attention（注意力机制）** | Bahdanau Attention (2014) | “聚焦”关键特征的加权求和 | 改变序列表示方式。 |
| **Transformer（变压器）** | Vaswani et al., 2017 | 全局自注意力 + 并行化 | 取代RNN，成为通用架构。 |
| **BERT（编码式Transformer）** | Google, 2018 | 双向掩码语言建模 | NLP理解模型基石。 |
| **GPT（解码式Transformer）** | OpenAI, 2018– | 自回归生成 | 通用语言生成基座。 |
| **ViT（视觉Transformer）** | Google, 2020 | 图像块序列化 | Transformer进入CV领域。 |
👉 **建议学习路线**：
Attention → Transformer → BERT & GPT → ViT
---
## 🎨 三、生成式模型（从概率到创造）
| 类别 | 模型代表 | 核心思想 | 典型应用 |
| -------------------------- | ---------------------- | -------------- | ----------- |
| **AutoEncoder（自编码器）** | Hinton et al. | 编码-解码重构 | 特征压缩、降维。 |
| **VAE（变分自编码器）** | Kingma & Welling, 2014 | 概率分布建模 + 重参数技巧 | 连续潜空间生成。 |
| **GAN（生成对抗网络）** | Goodfellow, 2014 | 生成器 vs 判别器博弈 | 图像生成、风格迁移。 |
| **Diffusion Models（扩散模型）** | Ho et al., 2020 (DDPM) | 正向加噪、反向去噪 | 高质量图像/视频生成。 |
| **Flow-based Models（流模型）** | RealNVP, Glow | 显式概率分布可逆映射 | 精确对数似然估计。 |
👉 **建议学习路线**：
AutoEncoder → VAE → GAN → Diffusion → Flow
---
## 🧮 四、图结构与时空建模
| 类别 | 模型代表 | 核心思想 | 应用方向 |
| ---------------------------------- | ------------------- | ----------- | ------------- |
| **GNN（图神经网络）** | GCN, GraphSAGE, GAT | 图结构节点消息传播 | 社交网络、分子、知识图谱。 |
| **ST-GCN / Temporal GNN** | 时空图卷积网络 | 时序 + 图拓扑 | 行为识别、交通预测。 |
| **Neural ODE / Continuous Models** | Chen et al., 2018 | 将网络当作微分方程求解 | 连续时间建模、物理模拟。 |
---
## 🧭 五、强化学习与决策模型
| 类别 | 模型代表 | 核心思想 | 代表系统 |
| ------------------------------- | -------------------- | ---------------------- | --------------- |
| **DQN（Deep Q Network）** | Mnih et al., 2015 | Q-Learning + CNN | Atari 游戏突破。 |
| **Policy Gradient / A2C / PPO** | Schulman et al. | 策略梯度法 | 控制类任务、机器人。 |
| **AlphaGo 系列** | DeepMind | MCTS + Policy/Value 网络 | 强化学习+搜索。 |
| **RLHF（人类反馈强化学习）** | OpenAI (InstructGPT) | 人类偏好引导LLM对齐 | ChatGPT、Claude。 |
---
## 🧠 六、混合与前沿架构（2023–2025趋势）
| 方向 | 模型代表 | 特点 |
| --------------------------------- | --------------------------- | ------------------ |
| **Mixture-of-Experts (MoE)** | Switch Transformer, Mixtral | 按需激活部分专家，提升效率。 |
| **Diffusion Transformer (DiT)** | Stable Diffusion 3, Sora | 扩散+Transformer 融合。 |
| **Mamba / RWKV / Hyena** | 结构性序列建模（非Attention） | 更长上下文、更低计算。 |
| **Retriever-augmented (RAG)** | RETRO, Atlas | 外部知识检索 + 生成结合。 |
| **Neural Radiance Fields (NeRF)** | 3D表示学习 | 3D重建、视频生成。 |
---
## 🚀 学习建议（从基础到前沿）
| 阶段 | 重点学习内容 | 实践建议 |
| -------- | ------------------- | ----------------- |
| **入门阶段** | MLP, CNN, RNN, LSTM | MNIST、IMDB分类 |
| **进阶阶段** | Transformer, ResNet | NLP/ViT实验 |
| **生成阶段** | AE, VAE, GAN | 图像生成、风格迁移 |
| **前沿阶段** | Diffusion, MoE, RAG | 文生图 / Agent / RAG |
| **研究阶段** | GNN, NeRF, Mamba | 论文复现、开源项目贡献 |
---
如果你愿意，我可以帮你整理一份
👉 **「AI基座模型学习路线图（附论文、代码和推荐实现顺序）」**，
让你从 MLP 一路系统学到 Diffusion 和 Mamba。
是否希望我帮你出这一份？
非常好！👏
你提到的 **U-Net** ——非常关键，它确实是一个经常被忽略、但在现代AI体系中**地位极高**的“隐形基座模型”。
我们来把它放入整个深度学习架构图谱中，顺便补全所有“还漏掉的核心架构”。
---
## 🧬 一、U-Net 是什么？
**U-Net（Ronneberger et al., 2015）**
是一个典型的 **Encoder–Decoder 卷积神经网络**，
主要用于 **图像分割（semantic segmentation）**，但后来在 **生成式模型、医学影像、Diffusion** 等领域成为关键基座。
### 🧩 核心结构
```
输入图像
↓
Encoder（收缩路径）——提取特征
↓
Bottleneck
↓
Decoder（扩张路径）——逐步恢复分辨率
↕
跳跃连接（skip connections）——传递细节
↓
输出分割/生成图像
```
### 💡 为什么重要：
* **CNN + 对称解码器结构** → 捕捉全局与局部信息。
* **跳跃连接（skip connections）** → 细节恢复关键。
* **扩散模型（Stable Diffusion）底层网络** 就是 **U-Net！**
> 例如 Stable Diffusion 的核心「去噪网络」= 改进版 U-Net + 时间嵌入 + 自注意力层。
### 📍分类定位：
> U-Net 属于：
> **「卷积网络 → 编解码结构 → 图像生成/分割基座」**
也就是：
```
MLP → CNN → Encoder–Decoder（U-Net） → VAE / GAN / Diffusion
```
---
## 📚 二、补充：常被忽略但必须知道的“核心基座模型/思想”
为了完整起见，下面列出你前面提到的之外、
很多人容易漏掉但非常重要的模型家族或思想模块（我按用途分）👇
---
### 🧩 （A）卷积与视觉方向
| 模型 | 核心贡献 | 地位 |
| ---------------------------------- | ---------------------- | --------------- |
| **LeNet (1998)** | 最早的CNN实现（手写数字识别） | CNN起源 |
| **AlexNet (2012)** | ReLU + Dropout + GPU训练 | 深度学习复兴起点 |
| **VGGNet (2014)** | 统一小卷积核结构 | 现代CNN标准结构 |
| **Inception (GoogLeNet)** | 多尺度卷积并行 | 高效特征提取 |
| **ResNet (2015)** | 残差连接 | 深层训练可行性突破 |
| **U-Net (2015)** | 编解码 + skip connection | 图像分割/生成核心 |
| **DenseNet (2017)** | 层间特征复用 | 参数高效 |
| **Vision Transformer (ViT, 2020)** | 图像块序列化 | Transformer进入CV |
---
### 🧠 （B）序列与语言方向
| 模型 | 核心贡献 |
| ------------------------------ | -------------------- |
| **RNN / LSTM / GRU** | 解决时序依赖与梯度问题 |
| **Seq2Seq + Attention (2014)** | 编码解码的语言翻译框架 |
| **Transformer (2017)** | 并行注意力机制，取代RNN |
| **BERT (2018)** | 双向编码理解 |
| **GPT (2018–)** | 自回归生成 |
| **T5 (2019)** | “Text-to-Text”统一框架 |
| **Mamba (2024)** | 非Attention序列结构（线性高效） |
---
### 🎨 （C）生成模型方向（概率建模与对抗）
| 模型 | 核心思想 | 典型用途 |
| ------------------------------------- | ---------- | --------- |
| **AutoEncoder (AE)** | 重构输入、压缩表示 | 表征学习 |
| **VAE** | 潜变量概率建模 | 连续生成 |
| **GAN** | 对抗训练 | 图像生成 |
| **U-Net** | 编解码生成结构 | 分割、扩散模型骨架 |
| **Diffusion Models** | 噪声→数据的反向生成 | 高质量图像生成 |
| **Normalizing Flow (Glow, RealNVP)** | 可逆变换，精确似然 | 概率建模 |
| **Score-based / Energy-based Models** | 通过梯度场生成数据 | 理论方向重要 |
---
### 🔢 （D）图结构与关系建模
| 模型 | 特点 |
| ----------------------------------------- | -------- |
| **GCN (Graph Convolution Network)** | 图上卷积 |
| **GAT (Graph Attention Network)** | 图注意力机制 |
| **GraphSAGE** | 采样聚合式图表示 |
| **Message Passing Neural Network (MPNN)** | 图传播统一框架 |
---
### 🧮 （E）强化学习与规划方向
| 模型 / 方法 | 关键思想 |
| -------------------------- | ---------------- |
| **DQN** | Q-learning + CNN |
| **A3C / PPO / DDPG / SAC** | 策略梯度与连续控制 |
| **AlphaGo / AlphaZero** | 结合搜索与神经网络 |
| **RLHF** | 人类反馈对齐LLM |
| **Dreamer / World Models** | 用生成模型做预测控制 |
---
### 🧱 （F）结构创新与现代趋势（2022–2025）
| 模型 / 思想 | 特点 |
| ------------------------------------------ | ----------------- |
| **Mixture-of-Experts (MoE)** | 按需激活子模型（稀疏计算） |
| **Diffusion Transformer (DiT)** | 将扩散与Transformer统一 |
| **Recurrent Memory Models** | 长上下文存储 |
| **NeRF（神经辐射场）** | 3D生成基础 |
| **Slot Attention / Object-Centric Models** | 对象级感知 |
| **RAG（Retrieval-Augmented Generation）** | 检索增强生成 |
| **Liquid Neural Networks / Neural ODEs** | 连续时间动态系统建模 |
---
## ✅ 小结：最核心的“AI基座模型框架图”
```
传统神经网络：
MLP → CNN → RNN/LSTM → Attention → Transformer
生成模型：
AE → VAE → U-Net → GAN → Diffusion → Flow
视觉建模：
CNN → ResNet → U-Net → ViT
图结构：
GCN → GAT → MPNN
强化学习：
DQN → PPO → AlphaGo → RLHF
现代融合：
Diffusion Transformer → MoE → Mamba → NeRF → RAG
```
---
如果你想系统学这些，我可以给你：
* 一张可视化「AI基座模型思维导图」
* 每个模型对应的代表论文 + 直观讲解 + 代码实现（PyTorch版本）
要我帮你做这一份吗？那样你可以从「MLP」一直学到「Diffusion Transformer」，一步不漏。

410
Artificial-Intelligence/readme.md Normal file
View File

@@ -0,0 +1,410 @@
有的 👍
如果你想系统地进入 **AI / 深度学习**，我可以帮你梳理一条比较清晰的学习路径，从数学基础 → 编程技能 → 深度学习核心 → 工程应用 → 前沿方向。
---
# 🎯 AI 学习路径（推荐顺序）
## 📐 阶段 1：数学与计算机基础
这些是地基，不要跳过：
* **线性代数**（矩阵运算、特征值、奇异值分解）
👉 推荐《线性代数及其应用》（Strang）
* **概率论与统计**（分布、期望、贝叶斯公式）
👉 《概率论与数理统计》（浙大版）
* **微积分**（导数、偏导、多元函数、梯度）
👉 《Thomas 微积分》
* **数值优化**（梯度下降、牛顿法、凸优化）
👉 Boyd《Convex Optimization》（进阶）
* **计算机基础**
* Python 编程（必须）
* 数据结构与算法（树、图、动态规划）
* Linux 基础（环境配置、命令行操作）
---
## 🤖 阶段 2：机器学习基础
先学“传统机器学习”，再进深度学习：
* **核心概念**
* 监督/无监督/强化学习
* 过拟合、正则化、交叉验证
* **常见算法**
* 线性回归、逻辑回归
* 决策树、随机森林、XGBoost
* 支持向量机（SVM）
* K-means、PCA
* **教材**
* 周志华《机器学习》（西瓜书）
* Andrew Ng 机器学习课程（Coursera）
---
## 🧠 阶段 3：深度学习核心
* **基本神经网络**
* MLP、激活函数、反向传播
* **训练技巧**
* 优化器（SGD, Adam, RMSprop）
* 学习率调度、BatchNorm、Dropout
* **常见网络**
* CNN（图像）
* RNN / LSTM / GRU（序列）
* Transformer（NLP / 通用）
* **框架实战**
* PyTorch（主流，科研）
* TensorFlow（工程/生产）
👉 推荐《Deep Learning with PyTorch》
---
## 🏗️ 阶段 4：AI 工程与实践
* **数据处理**：Numpy、Pandas、Matplotlib、Scikit-learn
* **深度学习工具**：PyTorch Lightning, HuggingFace Transformers
* **实验管理**：Weights & Biases, MLflow
* **部署与优化**
* ONNX, TensorRT
* GPU/TPU 加速
* 模型压缩（剪枝、量化）
---
## 🚀 阶段 5：前沿与方向选择
根据兴趣进入某个子领域：
* **计算机视觉 (CV)**
* CNN, ViT, Stable Diffusion
* **自然语言处理 (NLP)**
* Transformer, BERT, GPT
* **强化学习 (RL)**
* DQN, PPO, AlphaGo
* **多模态 (Vision+Language)**
* CLIP, LLaVA
* **系统 & 加速**
* 分布式训练 (DDP, DeepSpeed)
* 大模型训练 (LoRA, SFT, RAG)
---
# 📚 学习资源推荐
1. **课程**
* CS229（Stanford 机器学习）
* CS231n（Stanford 计算机视觉）
* DeepLearning.ai（Andrew Ng 深度学习专项）
2. **书**
* 《Deep Learning》（花书，Goodfellow）
* 《动手学深度学习》（李沐，MXNet/PyTorch 版）
* 《Dive into Deep Learning》（D2L）
3. **实战平台**
* Kaggle
* Papers with Code
---
# ✅ 路线总结
1. 数学 & Python 基础
2. 传统机器学习 → 西瓜书
3. 深度学习 → PyTorch + 李沐课程
4. 工程化 → Lightning / HuggingFace
5. 根据兴趣选择方向（CV / NLP / RL / 多模态）
---
要不要我帮你画一个 **AI 学习路线图（流程图形式）**，让你一眼就能看到每个阶段学什么？
这是一个好问题 👍。如果你是要走 **AI（尤其是深度学习）学习路径**，有一些模型和论文几乎是绕不开的“必修课”。我给你分层次整理一下：
---
## 🌱 入门必修模型 & 论文
这些是深度学习的“地基”，建议一定要通读或至少理解核心思想：
* **感知机 (Perceptron)** → 经典的神经网络起点。
* 论文: Rosenblatt, 1958. *The Perceptron*
* **BP 神经网络** → 反向传播算法。
* 论文: Rumelhart et al., 1986. *Learning representations by back-propagating errors*
* **卷积神经网络 (CNN)** → 图像识别奠基。
* 论文: LeCun et al., 1998. *Gradient-based learning applied to document recognition (LeNet)*
* **深度CNN爆发**
* AlexNet (2012, ImageNet冠军，奠定深度学习热潮)
* Krizhevsky et al., *ImageNet Classification with Deep Convolutional Neural Networks*
---
## 🚀 核心模型（深度学习必学）
* **VGGNet** (2014) → 网络加深的里程碑
* **ResNet** (2015) → 残差结构，极大缓解深层网络训练问题
* He et al., *Deep Residual Learning for Image Recognition*
* **RNN / LSTM / GRU** (1997 / 2014) → 处理序列数据（语言、时间序列）
* Hochreiter & Schmidhuber, *Long Short-Term Memory*
* **Seq2Seq (Encoder-Decoder)** (2014) → 机器翻译框架
* Sutskever et al., *Sequence to Sequence Learning with Neural Networks*
---
## 🌐 里程碑模型（现代AI基石）
* **Attention / Transformer (2017)**
* Vaswani et al., *Attention Is All You Need*
* → 这是NLP和大模型的分水岭
* **BERT (2018)** → 预训练语言模型奠基
* Devlin et al., *BERT: Pre-training of Deep Bidirectional Transformers*
* **GPT系列 (2018–2020)** → 大规模语言建模路线
* Radford et al., *Improving Language Understanding by Generative Pre-Training*
* **Vision Transformer (ViT, 2020)** → Transformer进军图像
* Dosovitskiy et al., *An Image is Worth 16x16 Words*
---
## 🧠 应用和前沿
* **GAN (2014)** → 图像生成奠基
* Goodfellow et al., *Generative Adversarial Networks*
* **Diffusion Models (2020)** → Stable Diffusion、DALL·E 的理论基础
* Ho et al., *Denoising Diffusion Probabilistic Models*
* **RL + Deep Learning**
* Mnih et al., 2015. *Human-level control through deep reinforcement learning* (DQN)
* Silver et al., 2016. *Mastering the game of Go with deep neural networks and tree search* (AlphaGo)
---
## 📖 建议阅读顺序
1. **基础** → Perceptron, BP, LeNet, AlexNet
2. **CV发展** → VGG, ResNet
3. **NLP发展** → RNN, LSTM, Seq2Seq
4. **新时代** → Transformer, BERT, GPT
5. **生成式AI** → GAN, Diffusion
6. **强化学习结合深度学习** → DQN, AlphaGo
---
要是你目标是 **科研/学术方向**，Transformer 及其变体的论文是绝对必须深入研究的；如果目标是 **工程应用**，ResNet、BERT 和 Diffusion 模型的应用落地很关键。
要不要我帮你画一张 **AI学习路径思维导图**，从数学基础到关键论文和模型都串起来？这样看起来更清晰。
好，我来帮你整理一个比较系统的 **AI经典论文阅读清单** 📚。我会按主题 + 时间线排序，每一篇都标出标题、作者、年份和推荐理由。这样你可以有条理地去读，不至于迷失。
---
# 🔑 AI 经典论文阅读列表
## 1. 基础阶段（神经网络起点）
1. **Rosenblatt, 1958. *The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain***
👉 神经网络最早的雏形。
2. **Rumelhart, Hinton & Williams, 1986. *Learning representations by back-propagating errors***
👉 反向传播算法奠基，现代深度学习的起点。
3. **LeCun et al., 1998. *Gradient-based learning applied to document recognition*** （LeNet-5）
👉 第一个成功的卷积神经网络，用于手写数字识别。
4. **Krizhevsky, Sutskever & Hinton, 2012. *ImageNet Classification with Deep Convolutional Neural Networks*** （AlexNet）
👉 ImageNet 冠军，深度学习热潮的导火索。
---
## 2. CV 发展（卷积神经网络进阶）
5. **Simonyan & Zisserman, 2014. *Very Deep Convolutional Networks for Large-Scale Image Recognition*** （VGGNet）
👉 网络加深后的代表作，结构清晰。
6. **He et al., 2015. *Deep Residual Learning for Image Recognition*** （ResNet）
👉 引入残差结构，极大缓解深度网络训练问题，必读。
---
## 3. NLP 发展（序列模型）
7. **Hochreiter & Schmidhuber, 1997. *Long Short-Term Memory*** （LSTM）
👉 解决长序列梯度消失问题，RNN 的核心改进。
8. **Cho et al., 2014. *Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation*** （GRU, Seq2Seq雏形）
👉 GRU提出，Encoder-Decoder架构出现。
9. **Sutskever, Vinyals & Le, 2014. *Sequence to Sequence Learning with Neural Networks*** （Seq2Seq）
👉 奠定了机器翻译等任务的 Encoder-Decoder 框架。
---
## 4. 新时代（Attention 与预训练）
10. **Bahdanau et al., 2015. *Neural Machine Translation by Jointly Learning to Align and Translate***
👉 第一次提出 Attention 机制。
11. **Vaswani et al., 2017. *Attention Is All You Need*** （Transformer）
👉 NLP 进入 Transformer 时代的标志。
12. **Devlin et al., 2018. *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding***
👉 双向 Transformer 预训练模型，NLP 各项任务全面突破。
13. **Radford et al., 2018. *Improving Language Understanding by Generative Pre-Training*** （GPT-1）
👉 GPT 系列开端，大规模自回归语言建模路线。
14. **Brown et al., 2020. *Language Models are Few-Shot Learners*** （GPT-3）
👉 大规模语言模型展示“少样本学习”能力，LLM 爆发起点。
15. **Dosovitskiy et al., 2020. *An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale*** （ViT）
👉 Transformer 成功应用于图像任务。
---
## 5. 生成式 AI（图像/文本生成）
16. **Goodfellow et al., 2014. *Generative Adversarial Nets*** （GAN）
👉 生成模型革命的起点。
17. **Radford et al., 2015. *Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks*** （DCGAN）
👉 GAN 第一个成功的大规模版本。
18. **Ho et al., 2020. *Denoising Diffusion Probabilistic Models*** （DDPM）
👉 扩散模型的起点，Stable Diffusion、DALL·E 的理论基础。
---
## 6. 强化学习 + 深度学习
19. **Mnih et al., 2015. *Human-level control through deep reinforcement learning*** （DQN）
👉 Atari 游戏的里程碑，强化学习和深度学习结合。
20. **Silver et al., 2016. *Mastering the game of Go with deep neural networks and tree search*** （AlphaGo）
👉 将深度学习、强化学习与搜索结合，震惊世界。
---
# ✅ 阅读建议
* **第一轮快速扫读**：掌握核心模型的思路和创新点（建议先看 ResNet, Transformer, BERT, GAN, Diffusion, AlphaGo）。
* **第二轮精读**：带代码实现，结合 PyTorch/现有开源代码跑实验。
* **第三轮拓展**：读相关的 survey 论文，形成整体脉络。
---
要不要我帮你把这些论文分成一个 **12个月的学习计划**，比如每个月读 2–3 篇，从基础到前沿逐步过渡？这样你可以循序渐进，而不是一下子全压上。
要了解 **最前沿的人工智能方向**，关键是关注 **最新论文、预印本、会议动态和开源项目**。我帮你梳理一下几大主流渠道和方法：
---
## 1️⃣ 学术论文与预印本（科研前沿）
### arXiv（预印本）
* **网址**: [https://arxiv.org](https://arxiv.org)
* **推荐板块**:
* cs.AI → 人工智能总览
* cs.LG → 机器学习
* cs.CV → 计算机视觉
* cs.CL → 自然语言处理
* **特点**: 速度快，几乎所有最新成果都会先在这里发布。
* **技巧**:
* 关注 “recent” 选项，每天/每周查看最新论文。
* 使用 RSS 或 arXiv-sanity（下文）订阅感兴趣领域。
### arXiv-sanity（作者：Andrej Karpathy）
* [http://www.arxiv-sanity.com/](http://www.arxiv-sanity.com/)
* 功能：按照热门度和关键字推荐最新论文，便于快速筛选高质量工作。
---
## 2️⃣ 顶级 AI/ML 学术会议（最具权威性）
这些会议的论文代表了领域前沿：
* **NeurIPS (Neural Information Processing Systems)**
→ ML 和深度学习最顶尖会议
* **ICLR (International Conference on Learning Representations)**
→ 表征学习、深度学习新方法
* **ICML (International Conference on Machine Learning)**
→ ML 各类前沿研究
* **CVPR / ICCV / ECCV**
→ 计算机视觉顶会
* **ACL / EMNLP / NAACL**
→ NLP 顶会
* **AAAI / IJCAI**
→ 综合人工智能会议
### 查看方式
* 直接访问官网，会有论文列表和 PDF 下载
* 或用 [paperswithcode.com](https://paperswithcode.com/) 查看带实现的最新论文
---
## 3️⃣ 开源社区与项目
前沿成果往往伴随开源代码：
* **GitHub Trending / Stars**
→ 关注 “transformers”, “diffusion”, “RL”, “multi-modal” 等关键字
* **HuggingFace Transformers Hub**
→ NLP 和多模态模型最新实现
* **OpenAI / Stability AI / Meta AI / DeepMind**
→ 官方开源项目，通常是最新研究的落地版
---
## 4️⃣ 社交媒体与信息聚合
* **Twitter / X**（AI研究人员、实验室账号）
→ 跟踪 Andrej Karpathy, Yann LeCun, OpenAI, DeepMind 等
* **Reddit / r/MachineLearning**
→ 每天有论文分享、讨论和解读
* **LinkedIn / WeChat 公众号**（国内 AI 前沿）
→ 比如“量子位”、“深度之眼”等科技公众号
---
## 5️⃣ 工具和订阅
* **Feedly / RSS** → 订阅 arXiv 或顶会动态
* **Papers with Code** ([https://paperswithcode.com/](https://paperswithcode.com/))
→ 论文 + 代码 + benchmark，方便实践
* **AI Report / Distill.pub**
→ 可视化解读最新研究，降低理解门槛
---
### 🔑 总结
1. **论文** → arXiv + 顶会
2. **代码** → GitHub + HuggingFace
3. **趋势** → 社交媒体 / RSS / AI 社区
4. **实践** → Papers with Code + 开源项目跑实验
---
如果你愿意，我可以帮你整理一个 **AI 前沿监控表格或 RSS/关注清单**，把 **每天/每周必须看/关注的渠道和账号**列出来，这样你可以系统追踪最新研究。
你希望我帮你做这个吗？