Notes/机器学习/深度学习模型/2-序列模型/1-Transformer-架构与工程/index.md

---
title: 01-Transformer-架构与工程
tags:
  - Transformer
  - 架构
  - 工程
  - 深度学习
---

# Transformer 架构与工程

本文件夹深入探讨Transformer架构及其工程实践，包括注意力机制（Attention）、自注意力（Self-Attention）以及BERT、GPT等基于Transformer的预训练模型。