萧山区建设工程质量监督站网站广州做网络服装的网站建设

萧山区建设工程质量监督站网站,广州做网络服装的网站建设,施工企业汛期应急预案,WordPress底部添加版权注明网络中的网络#xff08;NiN#xff09; 学习目标 通过本课程的学习#xff0c;学员将理解NiN网络的设计理念#xff0c;同时学习NiN网络如何通过引入11卷积层和全局平均汇聚层来增强网络的表达能力和减少过拟合。 相关知识点 NiN模型介绍以及训练 学习内容 LeNet、AlexNet…网络中的网络NiN学习目标通过本课程的学习学员将理解NiN网络的设计理念同时学习NiN网络如何通过引入1×1卷积层和全局平均汇聚层来增强网络的表达能力和减少过拟合。相关知识点NiN模型介绍以及训练学习内容LeNet、AlexNet和VGG都有一个共同的设计模式通过一系列的卷积层与汇聚层来提取空间结构特征然后通过全连接层对特征的表征进行处理。AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。或者可以想象在这个过程的早期使用全连接层。然而如果使用了全连接层可能会完全放弃表征的空间结构。网络中的网络NiN提供了一个非常简单的解决方案在每个像素的通道上分别使用多层感知机Lin.Chen.Yan.20131 NiN模型介绍以及训练1.1 NiN块回想一下卷积层的输入和输出由四维张量组成张量的每个轴分别对应样本、通道、高度和宽度。另外全连接层的输入和输出通常是分别对应于样本和特征的二维张量。NiN的想法是在每个像素位置针对每个高度和宽度应用一个全连接层。如果我们将权重连接到每个空间位置我们可以将其视为1×11\times 11×1卷积层或作为在每个像素位置上独立作用的全连接层。从另一个角度看即将空间维度中的每个像素视为单个样本将通道维度视为不同特征feature。图1说明了VGG和NiN及它们的块之间主要架构差异。NiN块以一个普通卷积层开始后面是两个1×11 \times 11×1的卷积层。这两个1×11 \times 11×1卷积层充当带有ReLU激活函数的逐像素全连接层。第一层的卷积窗口形状通常由用户设置。随后的卷积窗口形状固定为1×11 \times 11×1。图1 对比 VGG 和 NiN 及它们的块之间主要架构差异%pip install d2limporttorchimporttorchvisionfromtorch.utilsimportdatafromtorchvisionimporttransformsimporttorch_npufromtorch_npu.contribimporttransfer_to_npufromtorchimportnnfromd2limporttorchasd2ldefnin_block(in_channels,out_channels,kernel_size,strides,padding):returnnn.Sequential(nn.Conv2d(in_channels,out_channels,kernel_size,strides,padding),nn.ReLU(),nn.Conv2d(out_channels,out_channels,kernel_size1),nn.ReLU(),nn.Conv2d(out_channels,out_channels,kernel_size1),nn.ReLU())1.2 NiN模型最初的NiN网络是在AlexNet后不久提出的显然从中得到了一些启示。NiN使用窗口形状为11×1111\times 1111×11、5×55\times 55×5和3×33\times 33×3的卷积层输出通道数量与AlexNet中的相同。每个NiN块后有一个最大汇聚层汇聚窗口形状为3×33\times 33×3步幅为2。NiN和AlexNet之间的一个显著区别是NiN完全取消了全连接层。相反NiN使用一个NiN块其输出通道数等于标签类别的数量。最后放一个全局平均汇聚层global average pooling layer生成一个对数几率 logits。NiN设计的一个优点是它显著减少了模型所需参数的数量。然而在实践中这种设计有时会增加训练模型的时间。netnn.Sequential(nin_block(1,96,kernel_size11,strides4,padding0),nn.MaxPool2d(3,stride2),nin_block(96,256,kernel_size5,strides1,padding2),nn.MaxPool2d(3,stride2),nin_block(256,384,kernel_size3,strides1,padding1),nn.MaxPool2d(3,stride2),nn.Dropout(0.5),# 标签类别数是10nin_block(384,10,kernel_size3,strides1,padding1),nn.AdaptiveAvgPool2d((1,1)),# 将四维的输出转成二维的输出其形状为(批量大小,10)nn.Flatten())我们创建一个数据样本来查看每个块的输出形状。Xtorch.rand(size(1,1,224,224))forlayerinnet:Xlayer(X)print(layer.__class__.__name__,output shape:\t,X.shape)outSequential output shape: torch.Size([1, 96, 54, 54]) MaxPool2d output shape: torch.Size([1, 96, 26, 26]) Sequential output shape: torch.Size([1, 256, 26, 26]) MaxPool2d output shape: torch.Size([1, 256, 12, 12]) Sequential output shape: torch.Size([1, 384, 12, 12]) MaxPool2d output shape: torch.Size([1, 384, 5, 5]) Dropout output shape: torch.Size([1, 384, 5, 5]) Sequential output shape: torch.Size([1, 10, 5, 5]) AdaptiveAvgPool2d output shape: torch.Size([1, 10, 1, 1]) Flatten output shape: torch.Size([1, 10])1.3 获取数据集!wget https://model-community-picture.obs.cn-north-4.myhuaweicloud.com/ascend-zone/notebook_datasets/0edd96d814ee11f09ef9fa163edcddae/FashionMNIST.zip!unzip FashionMNIST.zip现在我们定义load_data_fashion_mnist函数用于获取和读取Fashion-MNIST数据集。这个函数返回训练集和验证集的数据迭代器。此外这个函数还接受一个可选参数resize用来将图像大小调整为另一种形状。defload_data_fashion_mnist(batch_size,resizeNone):#save下载Fashion-MNIST数据集然后将其加载到内存中trans[transforms.ToTensor()]ifresize:trans.insert(0,transforms.Resize(resize))transtransforms.Compose(trans)mnist_traintorchvision.datasets.FashionMNIST(root./data,trainTrue,transformtrans,downloadFalse)mnist_testtorchvision.datasets.FashionMNIST(root./data,trainFalse,transformtrans,downloadFalse)return(data.DataLoader(mnist_train,batch_size,shuffleTrue,num_workers4),data.DataLoader(mnist_test,batch_size,shuffleFalse,num_workers4))1.4 训练模型和以前一样我们使用Fashion-MNIST来训练模型。训练NiN与训练AlexNet、VGG时相似。lr,num_epochs,batch_size0.1,5,128train_iter,test_iterload_data_fashion_mnist(batch_size,resize224)d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu())