[发明专利]网络连接自适应深度卷积模型的构建方法

摘要

本发明提供的网络连接自适应深度卷积模型的构建方法，包括如下步骤：步骤一：对卷积神经网络中的权重向量进行正交化；步骤二：根据范数进行卷积神经网络中层与层之间连接的删除；步骤三：构建激活函数。本发明通过权重向量正交化减少了数据相关性；基于p范数进行卷积神经网络中层与层之间连接的删除，有效降低了深度卷积模型构建过程中过拟合的问题，并且实现了网络连接自适应；构建激活函数在不改变参数规模的前提下尽量概括数据信息，提高了建立深度卷积模型的准确性。 1

主权项

1.一种网络连接自适应深度卷积模型的构建方法，其特征在于，包括如下步骤：

步骤一：对卷积神经网络中的权重向量进行正交化，具体的计算公式如下式(1)、(2)所示：

wⁱ＝vⁱ  (1)

式中，vⁱ、v^j分别为同一层神经网络的第i个权重向量、第j个权重向量，wⁱ是vⁱ与v^j正交化之后对应的权重向量，w^j是v^j与vⁱ正交化之后对应的权重向量；

步骤二：根据范数进行卷积神经网络中层与层之间连接的删除，具体的计算公式如下式(3)所示：

式中，wⁱ和w^j是同属于一层神经网络的第i个权值向量和第j个权值向量，是第i个权值向量的p范数值，每次权值向量更新之后，即将该权值向量的p范数值与该层的其它任意权值向量w^j的p范数值相加，若它们相加的和为0，则将wⁱ权值向量变为零向量；

步骤三：构建激活函数，所述激活函数如下式(4)所示：

f(x)＝sigmoid(x)+λ  (4)

式中，λ的计算步骤如下：首先给λ设定一个任意大小的数值λ₀，计算损失函数的值y₁；然后对λ增加一个变化量ε，继续计算损失函数的值y₂，若y₂大于y₁，则持续增加λ的值，并计算损失函数的值，直至当前损失函数的值小于前一次损失函数的值，则停止迭代，此时λ值为局部最优值；若y₂小于y₁，则持续减小λ的值，并计算损失函数的值，直至当前损失函数的值小于前一次计算得到的损失函数的值，则停止迭代，此时λ值为局部最优值；将作为局部最优值的λ值代入式(4)进行计算。