1.基本用法

在pytorch中,使用torch.nn包来构建神经网络,我们定义的网络继承自nn.Module类。而一个nn.Module包含神经网络的各个层(放在__init__里面)和前向传播方式(放在forward里面),例如:

class Module(nn.Module):
	# 网络结构
    def __init__(self):
        super(Module, self).__init__()
        # ......
    # 前向传播
    def forward(self, x):
        # ......
        return x
#输入数据
data = .....  
# 实例化网络
module = Module()
# 前向传播
module(data)  
# 而不是使用下面的
# module.forward(data)   

可以发现,我们在编写代码的时候并不会显式地去调用forward方法。原因在于:

module(data)

实际上就等价于

module.forward(data)
2.原理分析

首先明确为什么module是一个对象,却可以像一个方法一样传入data进行调用

module(data)

原理是python中的__call__语法。例如:

class Module():
    def __call__(self, data):        
        print('传入的参数为->', data)
        
module = Module()
module(1)

输出为:

传入的参数为-> 1

也就是说,在我们编写的模型所继承的nn.Module类中,其__call__方法内便包含了某种形式的对forward方法的调用,从而使得我们不需要显式地调用forward方法。
当然,以上是简化的理解,实际的过程应为:

  • 调用module的call方法
  • module的call里面调用module的forward方法
  • forward里面如果碰到Module的子类,回到第1步,如果碰到的是Function的子类,继续往下
  • 调用Function的call方法
  • Function的call方法调用了Function的forward方法
  • Function的forward返回值
  • module的forward返回值
  • 在module的call进行forward_hook操作,然后返回值
3.参考

https://blog.csdn.net/xu380393916/article/details/97280035
https://blog.csdn.net/u011501388/article/details/84062483

Logo

华为开发者空间,是为全球开发者打造的专属开发空间,汇聚了华为优质开发资源及工具,致力于让每一位开发者拥有一台云主机,基于华为根生态开发、创新。

更多推荐