[发明专利]网络连接自适应深度卷积模型的构建方法

说明书

本发明提供的网络连接自适应深度卷积模型的构建方法，包括如下步骤：步骤一：对卷积神经网络中的权重向量进行正交化；步骤二：根据范数进行卷积神经网络中层与层之间连接的删除；步骤三：构建激活函数。本发明通过权重向量正交化减少了数据相关性；基于p范数进行卷积神经网络中层与层之间连接的删除，有效降低了深度卷积模型构建过程中过拟合的问题，并且实现了网络连接自适应；构建激活函数在不改变参数规模的前提下尽量概括数据信息，提高了建立深度卷积模型的准确性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种网络连接自适应深度卷积模型的构建方法。

背景技术

随着信息技术的不断发展与电子设备的普及，人们越来越依赖于互联网，同时也在互联网上留下了大量数据。随着深度学习研究的推进与发展，人们开始应用深度学习模型在解决现实中的问题。然而由于庞大的数据量和复杂的现实情况，深度学习模型在训练过程中往往会产生诸多问题，如：训练过程中模型参数过多，数据冗余严重，训练时间大大增加等。这些问题一部分来源于传统神经网络的部分不完善之处，例如传统神经网络模型中的全连接层采用随机剪枝的方法来消除模型的过拟合情况，但这一过程具有随机性，可能会丢失重要数据，不具有一定的鲁棒性；样本数据处理过程中处理方式过于简单，可能会丢失大量数据信息。

当前的深度卷积模型(Convolutional Neural Networks，CNN)的优化策略在数据处理方面，已提出面向卷积神经网络的卷积核冗余消除方法，该方法针对卷积神经网络在训练阶段所需的大量存储与计算资源，使用一种改进的冗余卷积核消除策略，进而降低模型训练开销。

同时，现有技术中提出深层卷积网络通常使用过参数化的卷积核来提取特征，而这种特征提取方式使得不同卷积核间存在不同的稀疏度，部分卷积核的权重参数可能过于稀疏，对模型的性能提升有限。因此，现有技术提出根据一定的阈值来过滤稀疏度较高的卷积核，进而精简CNN模型，提高效率，具体方法是：卷积核的稀疏度根据所处卷积层的权重参数来定义。对于卷积层l，M_l表示l层中所有卷积核权重参数绝对值的均值，卷积层l中第n个卷积核的稀疏度为S_l(n)。如果卷积核n的一些权重小于l层中权重的均值，那么S_l(n)会接近于1，这也意味着当前卷积核相比其他卷积核更加冗余。针对这种情况，现有技术提出了以下两种方法，利用稀疏度对冗余的卷积核进行剪枝。

(1)逐层优化算法：对同一卷积层中的所有卷积核按照稀疏度降序排列；待删除的卷积核数量由约减因子决定；

(2)梯度优化算法：基于神经网络构建了一个回归模型，学习约减因子r与CNN网络性能P之间的关系。

在改进激活函数方面，现有技术提出：当构建人工神经网络时，神经元通常由激活单元表示，激活函数f用于计算激活单元的输出，其中ReLU应用广泛，并有多重改进，ReLU函数容易计算且无需对神经网络进行预训练，并能加速训练，但ReLU激活单元在训练过程中，很脆弱，并且很有可能被杀死，因为一个较大的梯度流入ReLU单元可能导致该神经单元对于任何数据点都不会再被激活。LReLU的提出解决了ReLU的脆弱性问题，但准确率较于RelU有下降。现有技术中提出的神经元激活函数AReLU，兼有高准确率和高鲁棒性，准确率也有提升，AReLU的函数定义如下式(1)所示：

附图1是现有技术中AReLU函数示意图。如图1所示，在AReLU函数中，当正负区域有一个相同的参数时，效果不令人满意，若a较小，则会导致在正区域(x≥0)收敛变慢，若a较大，则会违背单侧抑制原则，并产生震荡。因此现有技术又对AReLU激活函数进行改进，使得AReLU在(x≥0)和x＜0时各有一个超参数，分别控制正区域和负区域的梯度，即logReLU函数，附图2是现有技术中logReLU函数示意图。logReLU函数的函数定义如下式(2)所示：