Added nn
This commit is contained in:
e2hang
225
Pytorch/nn/Parameter/nn.Parameter.md
Normal file
225
Pytorch/nn/Parameter/nn.Parameter.md
Normal file
@@ -0,0 +1,225 @@
|
||||
根据 PyTorch 官方文档，`torch.nn.Parameter` 是一个类，继承自 `torch.Tensor`，主要用于表示神经网络模型中的可训练参数。它本身并没有定义许多独立的方法，而是继承了 `torch.Tensor` 的大部分方法，同时具备一些特殊属性，用于与 `torch.nn.Module` 配合管理模型参数。以下是对 `torch.nn.Parameter` 的详细讲解，包括其作用、特性以及与参数管理相关的方法，基于官方文档和其他可靠来源。
|
||||
|
||||
---
|
||||
|
||||
### 1. `torch.nn.Parameter` 的定义与作用
|
||||
|
||||
**官方定义**：
|
||||
```python
|
||||
class torch.nn.parameter.Parameter(data=None, requires_grad=True)
|
||||
```
|
||||
- **作用**：`torch.nn.Parameter` 是一种特殊的 `torch.Tensor`，用于表示神经网络模型的可训练参数。当它被赋值给 `torch.nn.Module` 的属性时，会自动注册到模块的参数列表中（通过 `parameters()` 或 `named_parameters()` 方法访问），并参与梯度计算和优化。
|
||||
- **特性**：
|
||||
- **自动注册**：当 `nn.Parameter` 实例被赋值给 `nn.Module` 的属性时，它会自动添加到模块的 `parameters()` 迭代器中，而普通 `torch.Tensor` 不会。
|
||||
- **默认梯度**：`requires_grad` 默认值为 `True`，表示参数需要计算梯度，即使在 `torch.no_grad()` 上下文中也是如此。
|
||||
- **用途**：常用于定义模型的可训练权重、偏置，或其他需要优化的参数（如 Vision Transformer 中的 positional embedding 或 class token）。
|
||||
|
||||
**参数说明**：
|
||||
- `data`：一个 `torch.Tensor`，表示参数的初始值。
|
||||
- `requires_grad`：布尔值，指示是否需要计算梯度，默认 `True`。
|
||||
|
||||
**示例**：
|
||||
```python
|
||||
import torch
|
||||
import torch.nn as nn
|
||||
|
||||
# 创建一个 Parameter
|
||||
param = nn.Parameter(torch.randn(3, 3))
|
||||
print(param) # 输出 Parameter 类型的张量，requires_grad=True
|
||||
|
||||
# 定义一个简单的模型
|
||||
class MyModel(nn.Module):
|
||||
def __init__(self):
|
||||
super(MyModel, self).__init__()
|
||||
self.weight = nn.Parameter(torch.randn(3, 3))
|
||||
|
||||
def forward(self, x):
|
||||
return torch.matmul(x, self.weight)
|
||||
|
||||
model = MyModel()
|
||||
print(list(model.parameters())) # 包含 self.weight
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 2. `torch.nn.Parameter` 的方法
|
||||
|
||||
`torch.nn.Parameter` 本身没有定义额外的方法，它继承了 `torch.Tensor` 的所有方法，并通过与 `nn.Module` 的交互提供参数管理的功能。以下是与 `nn.Parameter` 相关的核心方法（主要通过 `nn.Module` 访问）以及 `torch.Tensor` 的常用方法在 `nn.Parameter` 上的应用：
|
||||
|
||||
#### 2.1 通过 `nn.Module` 访问 `nn.Parameter` 的方法
|
||||
|
||||
这些方法是 `torch.nn.Module` 提供的，用于管理 `nn.Parameter` 实例：
|
||||
|
||||
1. **`parameters()`**：
|
||||
- **作用**：返回模型中所有 `nn.Parameter` 实例的迭代器。
|
||||
- **返回值**：`Iterator[Parameter]`，包含所有参数的张量。
|
||||
- **示例**：
|
||||
```python
|
||||
for param in model.parameters():
|
||||
print(param.shape) # 打印每个参数的形状
|
||||
```
|
||||
|
||||
2. **`named_parameters()`**：
|
||||
- **作用**：返回一个迭代器，包含模型中所有 `nn.Parameter` 的名称和对应的参数张量。
|
||||
- **返回值**：`Iterator[Tuple[str, Parameter]]`，每个元素是参数名称和参数的元组。
|
||||
- **示例**：
|
||||
```python
|
||||
for name, param in model.named_parameters():
|
||||
print(f"Parameter name: {name}, Shape: {param.shape}")
|
||||
```
|
||||
|
||||
3. **`_parameters`**：
|
||||
- **作用**：`nn.Module` 的属性，是一个 `OrderedDict`，存储模块中直接定义的 `nn.Parameter` 实例。
|
||||
- **示例**：
|
||||
```python
|
||||
print(model._parameters) # 输出 OrderedDict，包含 weight 参数
|
||||
```
|
||||
|
||||
4. **`apply(fn)`**：
|
||||
- **作用**：递归地将函数 `fn` 应用于模块及其子模块的所有参数，常用于参数初始化。
|
||||
- **示例**：
|
||||
```python
|
||||
def init_weights(m):
|
||||
if isinstance(m, nn.Linear):
|
||||
m.weight.data.fill_(1.0)
|
||||
model.apply(init_weights) # 初始化所有参数
|
||||
```
|
||||
|
||||
5. **`cpu()` / `cuda(device_id=None)`**：
|
||||
- **作用**：将所有参数（包括 `nn.Parameter`）移动到 CPU 或指定的 GPU 设备。
|
||||
- **示例**：
|
||||
```python
|
||||
model.cuda() # 将模型参数移动到 GPU
|
||||
```
|
||||
|
||||
6. **`to(device)`**：
|
||||
- **作用**：将参数移动到指定设备（CPU 或 GPU），支持更灵活的设备管理。
|
||||
- **示例**：
|
||||
```python
|
||||
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
||||
model.to(device)
|
||||
```
|
||||
|
||||
7. **`double()` / `float()` / `half()`**：
|
||||
- **作用**：将所有参数转换为指定的数据类型（如双精度、单精度或半精度）。
|
||||
- **示例**：
|
||||
```python
|
||||
model.double() # 转换为双精度
|
||||
```
|
||||
|
||||
#### 2.2 继承自 `torch.Tensor` 的方法
|
||||
|
||||
`nn.Parameter` 是 `torch.Tensor` 的子类，因此可以使用 `torch.Tensor` 的所有方法。以下是一些常用的方法，特别适用于参数操作：
|
||||
|
||||
1. **张量操作**：
|
||||
- `add_()`, `mul_()`, `div_()` 等：原地修改参数值。
|
||||
- `zero_()`：将参数值置零，常用于重置梯度或参数。
|
||||
- **示例**：
|
||||
```python
|
||||
param = nn.Parameter(torch.randn(3, 3))
|
||||
param.zero_() # 将参数置零
|
||||
```
|
||||
|
||||
2. **梯度相关**：
|
||||
- `grad`：访问参数的梯度（一个 `torch.Tensor`）。
|
||||
- `zero_grad()`：通过优化器调用，清除参数的梯度。
|
||||
- **示例**：
|
||||
```python
|
||||
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
|
||||
optimizer.zero_grad() # 清除所有参数的梯度
|
||||
```
|
||||
|
||||
3. **形状操作**：
|
||||
- `view()`, `reshape()`：改变参数的形状。
|
||||
- **示例**：
|
||||
```python
|
||||
param = nn.Parameter(torch.randn(3, 3))
|
||||
reshaped_param = param.view(9) # 展平为 1D 张量
|
||||
```
|
||||
|
||||
4. **数学运算**：
|
||||
- `sum()`, `mean()`, `std()` 等：对参数值进行统计计算。
|
||||
- **示例**：
|
||||
```python
|
||||
print(param.mean()) # 计算参数的均值
|
||||
```
|
||||
|
||||
5. **克隆与分离**：
|
||||
- `clone()`：创建参数的副本。
|
||||
- `detach()`：分离参数，创建一个不需要梯度的新张量。
|
||||
- **示例**：
|
||||
```python
|
||||
param_clone = param.clone() # 复制参数
|
||||
param_detached = param.detach() # 分离，requires_grad=False
|
||||
```
|
||||
|
||||
#### 2.3 与优化器交互
|
||||
|
||||
`nn.Parameter` 的主要用途是与优化器（如 `torch.optim.SGD` 或 `Adam`）一起使用。优化器通过 `model.parameters()` 获取所有 `nn.Parameter` 实例，并更新它们的值。
|
||||
|
||||
**示例**：
|
||||
```python
|
||||
import torch.optim as optim
|
||||
|
||||
model = MyModel()
|
||||
optimizer = optim.SGD(model.parameters(), lr=0.01)
|
||||
loss_fn = nn.MSELoss()
|
||||
|
||||
# 前向传播
|
||||
x = torch.randn(1, 3)
|
||||
y = torch.randn(1, 3)
|
||||
out = model(x)
|
||||
loss = loss_fn(out, y)
|
||||
|
||||
# 反向传播与优化
|
||||
optimizer.zero_grad()
|
||||
loss.backward()
|
||||
optimizer.step() # 更新所有 nn.Parameter
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 3. 注意事项与常见问题
|
||||
|
||||
1. **与普通 Tensor 的区别**：
|
||||
- 普通 `torch.Tensor` 即使设置 `requires_grad=True`，也不会自动添加到 `nn.Module` 的参数列表中。
|
||||
- `nn.Parameter` 默认 `requires_grad=True`，且会自动注册为模型参数。
|
||||
|
||||
2. **初始化参数**：
|
||||
- 可以使用 `torch.nn.init` 模块初始化 `nn.Parameter`。
|
||||
- **示例**：
|
||||
```python
|
||||
import torch.nn.init as init
|
||||
param = nn.Parameter(torch.randn(3, 3))
|
||||
init.xavier_uniform_(param) # 使用 Xavier 初始化
|
||||
```
|
||||
|
||||
3. **临时状态 vs 参数**：
|
||||
- 如果需要在模型中存储临时状态（如 RNN 的隐藏状态），应使用普通 `torch.Tensor` 或 `nn.Module.register_buffer()`，避免注册为可训练参数。
|
||||
|
||||
4. **Vision Transformer 示例**：
|
||||
- 在 Vision Transformer 中，`nn.Parameter` 常用于定义可学习的 `cls_token` 和 `pos_embedding`：
|
||||
```python
|
||||
class ViT(nn.Module):
|
||||
def __init__(self, num_patches, dim):
|
||||
super(ViT, self).__init__()
|
||||
self.cls_token = nn.Parameter(torch.randn(1, 1, dim))
|
||||
self.pos_embedding = nn.Parameter(torch.randn(1, num_patches + 1, dim))
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 4. 总结
|
||||
|
||||
`torch.nn.Parameter` 本身没有定义独特的方法，但通过继承 `torch.Tensor` 和与 `nn.Module` 的交互，提供了强大的参数管理功能。核心方法（如 `parameters()`、`named_parameters()`）通过 `nn.Module` 访问，而 `torch.Tensor` 的方法（如 `zero_()`、`view()`）直接应用于 `nn.Parameter` 实例。以下是关键点：
|
||||
|
||||
- **自动注册**：赋值给 `nn.Module` 属性时，自动加入参数列表。
|
||||
- **梯度计算**：默认 `requires_grad=True`，支持优化。
|
||||
- **灵活操作**：继承 `torch.Tensor` 的所有方法，适用于张量操作。
|
||||
|
||||
**参考文献**：
|
||||
- PyTorch 官方文档：`torch.nn.Parameter`[](https://docs.pytorch.org/docs/stable/generated/torch.nn.parameter.Parameter.html)[](https://docs.pytorch.ac.cn/docs/stable/generated/torch.nn.parameter.Parameter.html)
|
||||
- 极客教程：理解 `torch.nn.Parameter`[](https://geek-docs.com/pytorch/pytorch-questions/21_pytorch_understanding_torchnnparameter.html)
|
||||
- CSDN 博客：`torch.nn.Parameter` 讲解[](https://blog.csdn.net/weixin_44878336/article/details/124733598)[](https://blog.csdn.net/weixin_44966641/article/details/118730730)
|
||||
|
||||
如果需要更详细的代码示例或特定方法的应用场景，请告诉我！
|
||||
Reference in New Issue
Block a user