[发明专利]一种用于实现残差网络特征数量匹配的优化方法

说明书

一种用于实现残差网络特征数量匹配的优化方法，包括以下步骤：步骤1.由第一个编码器组实现，该编码器包括一个初始卷积层将原始数据中提取16个特征图，再通过一个卷积单元组深化特征，而对应的快捷连接不需要应用通道优化单元，可以直接应用；步骤2.基于特征匹配的多级优化特征卷积编码；步骤3.基于特征匹配的多级优化特征卷积解码；步骤4.通过最后1级解码器组，其输出后设置了卷积层映射对应分类的数量，并在最后设置了Softmax层以对第四维度进行归一化，使得每个体素在所以类别的概率值和为1。本发明解决了在深度学习网络中卷积前面特征图不匹配所导致无法实现残差学习框架，在控制训练代价的同时，保证模型的鲁棒性。

技术领域

本发明属于图像处理领域，涉及一种用于实现残差网络特征数量匹配的优化方法。

背景技术

深度学习作为目前广泛流行的人工智能技术，广泛用于在计算机科学的各个领域中，基于现在公开越来越多的数据集，深度学习在图像处理方面相较于传统处理方法有更高的表现，但是过去的网络结构中还存在一些问题，由于数据量的增大，需要构建的更深(卷积层更多)的网络来训练模型，从而会产生训练缓慢，计算量增大的结果，甚至产生了梯度爆炸和梯度消失的情况导致模型训练无法进行，因此2015年Resnet网络结构的提出了一种基于残差学习的框架来改善以上的问题，并且取得一定的成果。而利用残差网络构成的语义分割模型以实现端到端的分割任务，比起之前全连接类型的网络，有了更好的模型解释性和分割效果。

残差网络的的改进是在卷积层(Weight layer)输入前加入快捷连接至卷积层的输出上，即直接将输入的数据与卷积后的数据进行求和(sum)操作，构成残差学习框架，模型在训练参数的时不是直接进行值映射，而是映射输入和输出的残差。图1(a)就是应用在Resnet上的一个典型的结构，再这样的结构中。然而在卷积层操作中，通常会增加卷积核的组数来达到特征提取的目的，如图1(b)，然而由于通道数发生变化，使得快捷连接无法直接应用，因此需要构建特殊的方式来实现快捷连接以完成恒等映射。

在Resnet的作者中的进一步工作中，他们研究了在具体卷积结构中关于批量归一化(BN)层，激活(ReLu)层和卷积层顺序对模型拟合效果的影响，面对上面的问题，他们采取的方式在快捷连接的过程中设置一个卷积层，随后在设置一个BN层将输入数据的通道数与卷积输出的通道数相同以实现求和操作，但是该方法在实际数据中的结果不是很稳定，网络最后的结果容易出现偏离较大的异常值，从而使得模型不鲁棒。

此外，现有的语义分割的模型中，使用步幅大于1的卷积层来替换池化层的结构，同时提升了通道的数量，在后续的权值层中就如图(a)一样不改变通道，因此快捷连接可以直接实现。但是这种方法带了的是待训练参数个数和计算量的大量上升，特别是对于三维图像的任务，训练代价更是以指数形式增长。

发明内容

为了克服已有技术的不足，即在Resnet方法中造成了模型的不鲁棒，在现有框架方法中带来了巨大的训练代价,本发明提供了一种用于实现残差网络特征数量匹配的优化方法。

本发明解决其技术问题所采用的技术方案是：

一种用于实现残差网络特征数量匹配的优化方法，包括以下步骤：

步骤1.初始卷积特征编码：由第一个编码器组实现，该编码器包括一个初始卷积层将原始数据中提取16个特征图，再通过一个卷积单元组深化特征，而对应的快捷连接不需要应用通道优化单元，可以直接应用；

步骤2.基于特征匹配的多级优化特征卷积编码：从上个步骤得到的特征图组依次通过4个编码器组进行后续4级下采样的深化特征操作，在该步骤的编码器组中，使用步幅为2的最大池化层来是特征的深度由浅入深地提取，为解码器的卷积单元设置2组卷积组合(BN+ReLu+Conv)并完成特征提取的功能；其中为了实现残差学习框架，设置了通道优化单元，即先由一个批量归一化层处理下采样后的数据，在用一个尺寸为1*1*1，步幅1，边缘填补0的卷积层提升对应的特征层数，来匹配在卷积单元组的输入和输出时的特征图数量；