[发明专利]基于集成学习的动态神经网络模型训练方法和装置

说明书

技术领域

本发明涉及人工智能及大数据领域，尤其涉及一种用于对象分类的模型训练方法和装置。

背景技术

人工智能已经成为当下社会的一个研究热点，不时会有新的研究结果刷爆人们的眼球，成为当今社会的热宠。其中，对于对象物体的正确分类及辨识，成为人工智能一个重要的研究方向。当前，对象辨识已经取得了不小的进步，很大程度上归功于人工神经网络及其多种变体，如卷积神经网络、递归神经网络等。神经网络通过大量数据对其内部结构进行训练，实现该模型较强的表达效果。但是，数据量的增大，进一步增加了模型的训练难度，为了解决该问题，不仅需要强大的硬件计算能力支撑；而且需要该领域研究人员设计新的算法或模型。当前人工智能及大数据处理该问题的主要技术手段即为构建一个深层的神经网络，一些研究模型的深度已经达到100多层甚至更高，一些研究表明，针对大数据集，加强模型的深度确实能提升分类正确率，但是模型深度的增加也对模型训练提出的新的困难与挑战。

当前，数据分类等问题的处理方法为，首先对数据进行特征提取，根据提取到的特征进而判断该对象所属的类别。而在众多特征提取的方法中，卷积神经网络是最重要的一种方法，其研究思想为先将每个神经元均建模为静态神经元，即y＝Wx+b，其中x为神经元输入，y为神经元输出，W为连接输入与输出之间的权重系数，b为截距项。然后通过ReLu函数或sigmoid函数在模型中引入非线性，增加模型的容量，之后增加卷积层与池化层，实现该层的特征提取，将该层特征作为新的输入，逐层级联得到一个深度神经网络，并针对最后一层获取的对象特征，通过一个全连接层来建立特征与目标对象所属类别之间的关系。在该模型中，模型的深度以及卷积函数与池化函数的设计均为极其繁杂困难的问题，此外，当前神经网络及其各种变体均将神经元建模为静态神经元，静态神经元仅能刻画输入与输出之间的关系，无法有效刻画系统输入内部之间的关系，无法保证神经网络的分类性能。

如何在保证神经网络模型性能的同时兼顾训练效率，是人工智能领域以及大数据领域技术人员迫切需要解决的一个技术问题。

发明内容

为了解决上述问题，本发明针对研究对象的识别与分类问题，提出了一种基于集成学习的动态神经网络模型的训练方法，采用动态神经元提取特征，并且采用并联的方式对数据集在多个模型同时进行训练，将深层神经网络转化为多个相对浅层的神经网络并行处理，节省训练时间，提高了训练效率。

为了实现上述目的，本发明采用如下技术方案：

一种基于集成学习的动态神经网络模型训练方法，其特征在于，包括以下步骤：

步骤一：对于集成动态神经网络模型中的每个子模型，将原始数据作为第一层神经元的输入，经过动态神经元的处理，得到该层输出特征；

步骤二：增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到某个预设值；

步骤三：在最后一层的输出特征与所属类别之间建立全连接层，并计算所述输出特征与类别之间的全连接权重；

步骤四：在各个子模型与所属类别之间建立全连接层，并确定各个子模型对于所述集成动态神经网络模型的权重；

其中，所述步骤一中神经元被建模为动态神经元；所述动态神经元的结构为：其中A^(l)，B^(l)，C^(l)分别为n^l×n^l阶、n^l×m^l阶、n^l×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵，C^(l)T表示矩阵C^(l)的转置；x^(l)，u^(l)分别为n^l×1、m^l×1向量，分别表示一个神经元的状态以及能处理的输入数据，m^l、n^l的值与所在的层相关。

进一步地，所述神经网络模型中，同一层神经元具有相同的动态结构，不同层的神经元的动态结构可以相同也可以不同；同一层神经元之间没有连接，不同层的神经元之间连接方式为稀疏连接，每个神经元仅与上层邻的若干神经元有连接。

进一步地，所述神经元对输入数据进行的处理如下：输入数据经过一层神经元处理后，经过一个状态与输出之间的变换，即提取到该层特征，其中矩阵为该层状态矩阵，满足其特征根具有非正实部，矩阵为该层的拓扑连接，其连接方式为稀疏连接。