[发明专利]基于集成学习的动态神经网络模型训练方法和装置

权利要求书

1.一种基于集成学习的动态神经网络模型训练方法，其特征在于，包括以下步骤：

步骤一：对于集成动态神经网络模型中的每个子模型，将原始数据作为第一层神经元的输入，经过动态神经元的处理，得到该层输出特征；

步骤二：增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到某个预设值；

步骤三：在最后一层的输出特征与所属类别之间建立全连接层，并计算所述输出特征与类别之间的全连接权重；

步骤四：在各个子模型与所属类别之间建立全连接层，并确定各个子模型对于所述集成动态神经网络模型的权重；

其中，所述步骤一中神经元被建模为动态神经元；所述动态神经元的结构为：其中A^(l)，B^(l)，C^(l)分别为n^l×n^l阶、n^l×m^l阶、n^l×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵，C^(l)T表示矩阵C^(l)的转置；x^(l)，u^(l)分别为n^l×1、m^l×1向量，分别表示一个神经元的状态以及能处理的输入数据，m^l、n^l的值与所在的层相关。

2.如权利要求1所述的动态神经网络的训练方法,其特征是，所述神经网络模型中，同一层神经元具有相同的动态结构，不同层的神经元的动态结构可以相同也可以不同；同一层神经元之间没有连接，不同层的神经元之间连接方式为稀疏连接，每个神经元仅与上层邻的若干神经元有连接。

3.如权利要求1所述的动态神经网络模型的训练方法,其特征是，所述神经元对输入数据进行的处理如下：输入数据经过一层神经元处理后，经过一个状态与输出之间的变换y⁽¹⁾＝C^(1)Tx⁽¹⁾，即提取到该层特征y⁽¹⁾，其中矩阵A⁽¹⁾为该层状态矩阵，满足其特征根具有非正实部，矩阵B⁽¹⁾为该层的拓扑连接，其连接方式为稀疏连接。

4.如权利要求1所述的动态神经网络训练方法，其特征为，所述全连接权重的计算公式为：

其中，z表示数据类别标签，y表示神经网络最后一层的输出特征，W_i⁽¹⁾表示特征与数据类别标签之间的全连接权重。

5.如权利要求4所述的动态神经网络模型的训练装置，其特征是，所述各个子模型对于总模型的权重计算公式为：

其中，z_i＝W_i⁽¹⁾y，W_i⁽²⁾表示第i个子模型在总模型中的权重。

6.如权利要求1所述的动态神经网络模型的训练装置，其特征是，还可以将原始数据划分为训练集与验证集，所述训练集用于神经网络模型的训练，所述验证集用于后续模型性能的评价。

7.如权利要求1所述的动态神经网络模型的训练装置，其特征是，所述步骤三中还包括对每个训练出的子模型进行性能测试。

8.如权利要求1所述的动态神经网络模型的训练装置，其特征是，所述步骤四还包括对集成的动态神经网络模型进行性能测试，若性能未达到预期，对权重参数进行调整。