反向市场营销对应，torch.nn神经网络 3–损失函数与反向传播 + 优化器

7.损失函数Loss

损失Loss，通常是指神经网络的输出预测值与真实值之间的差距，作用在于：

①计算实际输出和目标之间的差距

②为我们更新输出提供一定的依据（反向传播）

举例说明：具体各函数的定义在官方文档#loss-

我们定义两个变量与来代表输出和目标值，分别使用函数，函数来进行loss值的计算：

import torchfrom torch.nn import L1Lossfrom torch import nninputs= torch.tensor([1,2,3],dtype=torch.float32)targets = torch.tensor([1,2,5],dtype=torch.float32)inputs = torch.reshape(inputs,(1,1,1,3))targets = torch.reshape(targets,(1,1,1,3))loss =L1Loss(reduction='sum') #使用reduction调整计算方式 loss函数result = loss(inputs,targets)loss_mse =nn.MSELoss()result_mse = loss_mse(inputs,targets)print(result)print(result_mse)

输出结果：

tensor(2.)tensor(1.3333)

交叉熵函数的使用：

x=torch.tensor([0.1,0.2,0.3])y=torch.tensor([1])x=torch.reshape(x,(1,3))loss_cross = nn.CrossEntropyLoss()result_cross = loss_cross(x,y)print(result_cross)

输出：

tensor(1.1019)

8.反向传播

反向传播作用：

计算总误差反向市场营销对应，也就是快速算出所有参数的偏导数，以此来更新新的权重。

本次例子使用之前设计的网络：

导入相应模块，数据集，神经网络定义

import torchimport torchvisionfrom torch import nnfrom torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequentialfrom torch.utils.data import DataLoaderfrom torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10('./dataset',train=False,transform=torchvision.transforms.ToTensor(),download=True)dataloader = DataLoader(dataset,batch_size=1)class ChenYu(nn.Module):def __init__(self):super(ChenYu, self).__init__()self.model1 =Sequential(Conv2d(3,32,5,padding=2),MaxPool2d(2),Conv2d(32,32,5,padding=2),MaxPool2d(2),Conv2d(32,64,5,padding=2),MaxPool2d(2),Flatten(),Linear(1024,64),Linear(64,10))def forward(self,x):x=self.model1(x)return x

使用交叉熵进行loss的计算，使用()函数进行反向传播：

loss= nn.CrossEntropyLoss() chenyu=ChenYu()for data in dataloader:imgs, targets = dataoutputs= chenyu(imgs)result_loss = loss(outputs,targets) #交叉熵使用result_loss.backward() #反向传播更新数据print(result_loss)

9.优化器

优化器作用：用来更新和计算影响模型训练和模型输出的网络参数反向市场营销对应，使其逼近或达到最优值，从而最小化(或最大化)损失函数E 最常用的方法是梯度下降方法。

本次使用优化器文SGD优化器，我们需要设置其输入的参数及学习率lr.

同样借用上述的神经网络，在此不做赘述，直接进行分析：

①将样本输入至神经网络中得到输出

②使用loss函数计算出输出和实际值的误差

③使用optim.()将之前的梯度清0

④使用.()函数进行反向传播

⑤optim.step()对每个参数进行调优

loss= nn.CrossEntropyLoss()chenyu=ChenYu()optim = torch.optim.SGD(chenyu.parameters(),lr=0.01)for epoch in range(20):running_Loss = 0.0for data in dataloader:imgs, targets = dataoutputs= chenyu(imgs)result_loss = loss(outputs,targets)optim.zero_grad() #将需要调节的参数 设置为0result_loss.backward() #反向传播optim.step()running_Loss = running_Loss+result_lossprint(running_Loss)

最终结果：我们可以看到 随着网络的不断迭代，loss值是在不断的进行下降的：

tensor(18689.9395, grad_fn=<AddBackward0>)tensor(16173.0996, grad_fn=<AddBackward0>)tensor(15504.9697, grad_fn=<AddBackward0>)