pytorch自定义loss函数的几种方法

1. 让张量使用Variable类型，如下所示

from torch.autograd import Variable

inp = torch.zeros(2, 3)
inp = Variable(inp).type(torch.LongTensor)
print(inp)

Variable类型包装了Tensor类型，并提供了backward()接口

使用Variable类型的好处是，可以按照论文公式来直接使用，并在做张量运算之后，使用继承的backward()直接进行反向传播

2. 自定义类继承nn.Module

class CustomMSELoss(nn.Module):
    def __init__(self):
        super().__init__()
        
    def forward(self, x, y):
        return torch.mean(torch.pow((x - y), 2))

这种方法结构化程度高，在开发给用户使用时，由于不知道用户的Tensor是否是Variable类型，采用该方法可以减少问题。