[发明专利]一种基于门控的神经网络信息融合的图像分类方法

说明书

本发明涉及一种基于门控的神经网络信息融合方法，包括下列步骤：给定需要进行融合的神经网络特征张量，称这些张量为融合输入；确定输出张量的维度，记输出张量为O；对每个输入进行包括变换、激活在内的神经网络计算，使之与输出张量为O具有相同维度；选取合适的融合证据输入：融合证据是指控制每个融合输入的、用于计算融合权重的特征张量，记第i个输入的融合证据为E_i；对第i路融合，对E_i进行神经网络计算；对计算后的融合证据E_i进行激活，得到融合权重α_i；将融合权重α_i与输入I_i相乘；将各路线性或非线性组合成为输出张量O。

技术领域

本发明属于机器学习和神经网络领域，特别涉及一种可用于神经网络的门控的信息融合方法。

背景技术

神经网络(NeuralNetwork,NN)已经在语音识别、自然语言识别、图像处理与模式识别等众多领域取得了良好效果。

多任务、多分支的神经网络变得越来越流行，数个流行的神经网络模型如ResNet(He etal,2016)、DenseNet(Huangetal,2017)、GRU(Cho etal,2014)等等都引入了两分支信息融合成为一个分支的操作。而在机器人、无人机、自动驾驶这种综合系统上，使用多个、多支路、多任务等复杂神经网络模型越来越普遍，神经网络模型的信息融合在这些应用中显得尤为重要。现有的信息融合方法大多使用拼接(Concatenation)或者加权平均作为融合策略：使用拼接会造成特征维度剧增，需要大量的计算资源；加权平均作为一种简单线性组合方法，无法拟合出非线性的融合函数。

HeK,ZhangX,Ren S,etal.DeepResidualLearningforImageRecognition[A].IEEEConferenceon ComputerVisionandPatternRecognition[C].LasVegas,NV,UnitedStates:IEEE,2016:770–778.

HuangG,LiuZ,van derMaatenL,etal.DenselyConnectedConvolutionalNetworks[A].IEEE ConferenceonComputerVisionandPatternRecognition[C].Honolulu,HI,USA:IEEE,2017:2261–2269.

ChoK,vanMerrienboerB,BahdanauD,etal.OntheProperties ofNeuralMachineTranslation:Encoder-DecoderApproaches[A].Workshop on Syntax,SemanticsandStructure in StatisticalTranslation[C].Doha,Qatar:2014.

发明内容

本发明目的在于提供一种计算量较小、拟合能力较强的神经网络信息融合方法。本发明的技术方案如下：

一种门控的神经网络信息融合方法，包括下列步骤：

1)给定需要进行融合的神经网络特征张量I₁,I₂,…,I_n共n个，称这些张量为融合输入；

2)确定输出张量的维度，记输出张量为O；

3)对每个输入进行包括变换、激活在内的神经网络计算，使之与输出张量为O具有相同维度；