[发明专利]一种基于门控的神经网络信息融合的图像分类方法

权利要求书

1.一种基于门控的神经网络信息融合的图像分类方法，包括下列步骤：

(1)准备训练数据，训练数据包括训练图像和类别标注；

(2)搭建Inception-v4基础网络；

(3)将Inception-v4中各个单元的并行支路作为融合输入；

(4)选取融合证据；将Inception-v4中前一个单元的输出作为本单元的融合证据，并依次添加卷积、线性整流单元(ReLU)，作为融合控制支路；

(5)为了获得不同的感受野，为Inception-v4中大中小三个尺度的卷积支路添加的卷积分别为3×3卷积、膨胀率为2的3×3膨胀卷积、膨胀率为4的3×3膨胀卷积；

(6)激活融合证据：在步骤(4)的融合控制支路结尾，添加tanh作为激活函数；

(7)将每一路融合输入与对应的融合权重相乘；

(8)将得到的各路数据相加；

(9)将步骤1中的训练数据输入所得到的神经网络，使用迷你批量随机梯度下降(mini-batch SGD)的优化方法，选用交叉熵损失和权重衰减损失的和作为损失项，并设置每批含32张训练图像、权重衰减系数0.01，学习率从0.001开始每隔1代以0.95次幂的指数形式下降，训练至损失函数值收敛；

(10)将步骤(9)训练得到的神经网络权重保存；

(11)将待测图像输入步骤(10)得到的神经网络模型中，得到的预测结果即为待测图像的分类结果；

上述图像分类方法，采用的是被称之为基于门控的神经网络信息融合方法，此方法为：

1)给定需要进行融合的神经网络特征张量I₁,I₂,…,I_n共n个，称这些张量为融合输入；

2)确定输出张量的维度，记输出张量为O；

3)对每个输入进行包括变换、激活在内的神经网络计算，使之与输出张量为O具有相同维度；

4)选取合适的融合证据输入：融合证据是指控制每个融合输入的、用于计算融合权重的特征张量，记第i个输入的融合证据为E_i，则有对输入I₁,I₂,…,I_n，有E₁,E₂,…,E_n；

5)对第i路融合，对E_i进行神经网络计算；

6)对计算后的融合证据E_i进行激活，得到融合权重α_i；

7)将融合权重α_i与输入I_i相乘；

8)将各路线性或非线性组合成为输出张量O。