python/nn.Parameter.md at main

Files

e2hang a8d78878fc Added nn

2025-09-09 15:56:55 +08:00

9.2 KiB

Raw Permalink Blame History

根据 PyTorch 官方文档，torch.nn.Parameter 是一个类，继承自 torch.Tensor，主要用于表示神经网络模型中的可训练参数。它本身并没有定义许多独立的方法，而是继承了 torch.Tensor 的大部分方法，同时具备一些特殊属性，用于与 torch.nn.Module 配合管理模型参数。以下是对 torch.nn.Parameter 的详细讲解，包括其作用、特性以及与参数管理相关的方法，基于官方文档和其他可靠来源。

1. `torch.nn.Parameter` 的定义与作用

官方定义：

class torch.nn.parameter.Parameter(data=None, requires_grad=True)

作用：torch.nn.Parameter 是一种特殊的 torch.Tensor，用于表示神经网络模型的可训练参数。当它被赋值给 torch.nn.Module 的属性时，会自动注册到模块的参数列表中（通过 parameters() 或 named_parameters() 方法访问），并参与梯度计算和优化。
特性：
- 自动注册：当 nn.Parameter 实例被赋值给 nn.Module 的属性时，它会自动添加到模块的 parameters() 迭代器中，而普通 torch.Tensor 不会。
- 默认梯度：requires_grad 默认值为 True，表示参数需要计算梯度，即使在 torch.no_grad() 上下文中也是如此。
- 用途：常用于定义模型的可训练权重、偏置，或其他需要优化的参数（如 Vision Transformer 中的 positional embedding 或 class token）。

参数说明：

data：一个 torch.Tensor，表示参数的初始值。
requires_grad：布尔值，指示是否需要计算梯度，默认 True。

示例：

import torch
import torch.nn as nn

# 创建一个 Parameter
param = nn.Parameter(torch.randn(3, 3))
print(param)  # 输出 Parameter 类型的张量，requires_grad=True

# 定义一个简单的模型
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.weight = nn.Parameter(torch.randn(3, 3))
    
    def forward(self, x):
        return torch.matmul(x, self.weight)

model = MyModel()
print(list(model.parameters()))  # 包含 self.weight

2. `torch.nn.Parameter` 的方法

torch.nn.Parameter 本身没有定义额外的方法，它继承了 torch.Tensor 的所有方法，并通过与 nn.Module 的交互提供参数管理的功能。以下是与 nn.Parameter 相关的核心方法（主要通过 nn.Module 访问）以及 torch.Tensor 的常用方法在 nn.Parameter 上的应用：

2.1 通过 `nn.Module` 访问 `nn.Parameter` 的方法

这些方法是 torch.nn.Module 提供的，用于管理 nn.Parameter 实例：

parameters()：
- 作用：返回模型中所有 nn.Parameter 实例的迭代器。
- 返回值：Iterator[Parameter]，包含所有参数的张量。
- 示例：
```
for param in model.parameters():
    print(param.shape)  # 打印每个参数的形状
```
named_parameters()：
- 作用：返回一个迭代器，包含模型中所有 nn.Parameter 的名称和对应的参数张量。
- 返回值：Iterator[Tuple[str, Parameter]]，每个元素是参数名称和参数的元组。
- 示例：
```
for name, param in model.named_parameters():
    print(f"Parameter name: {name}, Shape: {param.shape}")
```
_parameters：
- 作用：nn.Module 的属性，是一个 OrderedDict，存储模块中直接定义的 nn.Parameter 实例。
- 示例：
```
print(model._parameters)  # 输出 OrderedDict，包含 weight 参数
```

apply(fn)：

作用：递归地将函数 fn 应用于模块及其子模块的所有参数，常用于参数初始化。

示例：

def init_weights(m):
    if isinstance(m, nn.Linear):
        m.weight.data.fill_(1.0)
model.apply(init_weights)  # 初始化所有参数

cpu() / cuda(device_id=None)：
- 作用：将所有参数（包括 nn.Parameter）移动到 CPU 或指定的 GPU 设备。
- 示例：
```
model.cuda()  # 将模型参数移动到 GPU
```
to(device)：
- 作用：将参数移动到指定设备（CPU 或 GPU），支持更灵活的设备管理。
- 示例：
```
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
```
double() / float() / half()：
- 作用：将所有参数转换为指定的数据类型（如双精度、单精度或半精度）。
- 示例：
```
model.double()  # 转换为双精度
```

2.2 继承自 `torch.Tensor` 的方法

nn.Parameter 是 torch.Tensor 的子类，因此可以使用 torch.Tensor 的所有方法。以下是一些常用的方法，特别适用于参数操作：

张量操作：
- add_(), mul_(), div_() 等：原地修改参数值。
- zero_()：将参数值置零，常用于重置梯度或参数。
- 示例：
```
param = nn.Parameter(torch.randn(3, 3))
param.zero_()  # 将参数置零
```
梯度相关：
- grad：访问参数的梯度（一个 torch.Tensor）。
- zero_grad()：通过优化器调用，清除参数的梯度。
- 示例：
```
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
optimizer.zero_grad()  # 清除所有参数的梯度
```

形状操作：

view(), reshape()：改变参数的形状。

示例：

param = nn.Parameter(torch.randn(3, 3))
reshaped_param = param.view(9)  # 展平为 1D 张量

数学运算：
- sum(), mean(), std() 等：对参数值进行统计计算。
- 示例：
```
print(param.mean())  # 计算参数的均值
```
克隆与分离：
- clone()：创建参数的副本。
- detach()：分离参数，创建一个不需要梯度的新张量。
- 示例：
```
param_clone = param.clone()  # 复制参数
param_detached = param.detach()  # 分离，requires_grad=False
```

2.3 与优化器交互

nn.Parameter 的主要用途是与优化器（如 torch.optim.SGD 或 Adam）一起使用。优化器通过 model.parameters() 获取所有 nn.Parameter 实例，并更新它们的值。

示例：

import torch.optim as optim

model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)
loss_fn = nn.MSELoss()

# 前向传播
x = torch.randn(1, 3)
y = torch.randn(1, 3)
out = model(x)
loss = loss_fn(out, y)

# 反向传播与优化
optimizer.zero_grad()
loss.backward()
optimizer.step()  # 更新所有 nn.Parameter

3. 注意事项与常见问题

与普通 Tensor 的区别：
- 普通 torch.Tensor 即使设置 requires_grad=True，也不会自动添加到 nn.Module 的参数列表中。
- nn.Parameter 默认 requires_grad=True，且会自动注册为模型参数。

初始化参数：

可以使用 torch.nn.init 模块初始化 nn.Parameter。

示例：

import torch.nn.init as init
param = nn.Parameter(torch.randn(3, 3))
init.xavier_uniform_(param)  # 使用 Xavier 初始化

临时状态 vs 参数：
- 如果需要在模型中存储临时状态（如 RNN 的隐藏状态），应使用普通 torch.Tensor 或 nn.Module.register_buffer()，避免注册为可训练参数。

Vision Transformer 示例：

在 Vision Transformer 中，nn.Parameter 常用于定义可学习的 cls_token 和 pos_embedding：

class ViT(nn.Module):
    def __init__(self, num_patches, dim):
        super(ViT, self).__init__()
        self.cls_token = nn.Parameter(torch.randn(1, 1, dim))
        self.pos_embedding = nn.Parameter(torch.randn(1, num_patches + 1, dim))

4. 总结

torch.nn.Parameter 本身没有定义独特的方法，但通过继承 torch.Tensor 和与 nn.Module 的交互，提供了强大的参数管理功能。核心方法（如 parameters()、named_parameters()）通过 nn.Module 访问，而 torch.Tensor 的方法（如 zero_()、view()）直接应用于 nn.Parameter 实例。以下是关键点：

自动注册：赋值给 nn.Module 属性时，自动加入参数列表。
梯度计算：默认 requires_grad=True，支持优化。
灵活操作：继承 torch.Tensor 的所有方法，适用于张量操作。

参考文献：

PyTorch 官方文档：torch.nn.Parameter
极客教程：理解 torch.nn.Parameter
CSDN 博客：torch.nn.Parameter 讲解

如果需要更详细的代码示例或特定方法的应用场景，请告诉我！

9.2 KiB Raw Permalink Blame History Unescape Escape

1. torch.nn.Parameter 的定义与作用

2. torch.nn.Parameter 的方法

2.1 通过 nn.Module 访问 nn.Parameter 的方法

2.2 继承自 torch.Tensor 的方法