[发明专利]一种集成模型的自适应多样性增强训练方法及装置

权利要求书

1.一种集成模型的自适应多样性增强训练方法，其特征在于，包括：

将待训练的集成模型作为目标集成模型，根据所述目标集成模型中各个子模型的输出获得目标正则项，根据所述目标集成模型中所有子模型各自对应的交叉熵损失函数和所述目标正则项构造所述目标集成模型对应的目标函数；

对于所述目标集成模型中的任意一个子模型，根据预设训练集对所述子模型进行迭代训练，对于任意一个当前迭代过程，基于梯度下降算法根据所述子模型在上一次迭代过程中的网络参数和所述目标集成模型对应的目标函数更新获得所述子模型在当前迭代过程中的网络参数；

若所述子模型在当前迭代过程中的网络参数与所述子模型在上一次迭代过程中的网络参数的差值不大于预设阈值，则所述子模型为收敛状态，当且仅当所述目标集成模型中的所有子模型均为收敛状态时，确定所述目标集成模型训练完成。

2.根据权利要求1所述的方法，其特征在于，根据所述目标集成模型中各个子模型的输出获得目标正则项，具体为：

根据所述目标集成模型中各个子模型的输出获得目标信息熵；

根据所述目标集成模型中各个子模型的非最大输出获得目标度量；

根据所述目标信息熵和所述目标度量获得所述目标正则项。

3.根据权利要求2所述的方法，其特征在于，根据所述目标集成模型中各个子模型的输出获得目标信息熵，具体为：

计算所述目标集成模型中所有子模型的输出的均值，作为目标输出；

获取所述目标输出的香农信息熵，作为所述目标信息熵。

4.根据权利要求2所述的方法，其特征在于，根据所述目标集成模型中各个子模型的非最大输出获得目标度量，具体为：

将所述目标集成模型中所有子模型的非最大输出组成非最大输出矩阵；

获取所述非最大输出矩阵的置换矩阵，将所述非最大输出矩阵和所述置换矩阵组成的行列式作为所述目标度量。

5.根据权利要求2所述的方法，其特征在于，根据所述目标信息熵和所述目标度量获得所述目标正则项，具体计算公式为：

其中，ADP_α,β(x,y)为所述目标正则项；为所述目标信息熵；为所述目标度量；α、β为不小于零的常数。

6.根据权利要求1所述的方法，其特征在于，根据所述目标集成模型中所有子模型各自对应的交叉熵损失函数和所述目标正则项构造所述目标集成模型对应的目标函数，具体计算公式为：

其中，为所述目标集成模型对应的目标函数；为第k个子模型对应的交叉熵损失函数；K为所述目标集成模型中所有子模型的总数量；ADP_α,β(x,y)为所述目标正则项；(x_i,y_i)为所述预设训练集中的第i个训练样本；D_m为从所述预设训练集中随机选取的m个训练样本组成的集合。

7.根据权利要求1所述的方法，其特征在于，基于梯度下降算法根据所述子模型在上一次迭代过程中的网络参数和所述目标集成模型对应的目标函数更新获得所述子模型在当前迭代过程中的网络参数，具体计算公式为：

其中，为第k′个子模型在第c次迭代过程中的网络参数；为第k′个子模型在第c+1次迭代过程中的网络参数；ε_k′为第k′个子模型的学习速率；为所述目标集成模型对应的目标函数；K为所述目标集成模型中所有子模型的总数量。