[发明专利]一种集成模型的自适应多样性增强训练方法及装置

说明书

本发明实施例提供一种集成模型的自适应多样性增强训练方法及装置，将待训练的集成模型作为目标集成模型，根据目标集成模型中各个子模型的输出获得目标正则项，并将目标正则项加入到目标集成模型的每个子模型的迭代训练过程中，当且仅当目标集成模型中的所有子模型均训练至收敛状态时，则确定目标集成模型训练完成。该方法及装置所引入的目标正则项中充分考虑了目标集成模型中的各个子模型之间的相互作用，将目标正则项加入到目标集成模型的每个子模型的迭代训练中，有利于提高目标集成模型的鲁棒性和可靠性。

技术领域

本发明实施例涉及机器学习技术领域，更具体地，涉及一种集成模型的自适应多样性增强训练方法及装置。

背景技术

目前，神经网络在各个领域上都取得了巨大的成功，包括图像识别、语音识别以及自然语言处理等领域。然而，神经网络模型在对抗环境中往往很容易受到攻击，在对抗环境中，神经网络模型会被输入一些基于正常样本精心计算得到的对抗样本，例如图片或者语音信息，这些对抗样本很容易被神经网络模型错误分类。有鉴于此，提高神经网络模型的鲁棒性和可靠性已成为现今研究的热点。

目前已有一些学者提出了提高神经网络模型的鲁棒性和可靠性的训练策略。例如，Szegedy C以及Matry等人提出的对抗训练策略是随着训练过程动态地利用对抗样本扩充训练集。然而，现有的训练策略均是聚焦于提高单个神经网络模型的鲁棒性和可靠性，在实际应用中，各领域中所使用的神经网络模型往往是由多个子模型组成的集成模型，由于集成模型中各个子模型之间存在相互作用，因此现有的训练策略难以有效提高集成模型的鲁棒性和可靠性。

有鉴于此，亟需提供一种集成模型的训练方法及装置，以能够有效提高集成模型的鲁棒性和可靠性。

发明内容

本发明实施例为了克服现有的训练策略难以有效提高集成模型的鲁棒性和可靠性的问题，提供一种集成模型的自适应多样性增强训练方法及装置。

第一方面，本发明实施例提供一种集成模型的自适应多样性增强训练方法，包括：

将待训练的集成模型作为目标集成模型，根据所述目标集成模型中各个子模型的输出获得目标正则项，根据所述目标集成模型中所有子模型各自对应的交叉熵损失函数和所述目标正则项构造所述目标集成模型对应的目标函数；

对于所述目标集成模型中的任意一个子模型，根据预设训练集对所述子模型进行迭代训练，对于任意一个当前迭代过程，基于梯度下降算法根据所述子模型在上一次迭代过程中的网络参数和所述目标集成模型对应的目标函数更新获得所述子模型在当前迭代过程中的网络参数；

若所述子模型在当前迭代过程中的网络参数与所述子模型在上一次迭代过程中的网络参数的差值不大于预设阈值，则所述子模型为收敛状态，当且仅当所述目标集成模型中的所有子模型均为收敛状态时，确定所述目标集成模型训练完成。

第二方面，本发明实施例提供一种集成模型的自适应多样性增强训练装置，包括：

目标函数构造模块，用于将待训练的集成模型作为目标集成模型，根据所述目标集成模型中各个子模型的输出之间的相互作用获得目标正则项，根据所述目标集成模型中所有子模型各自对应的交叉熵损失函数和所述目标正则项构造所述目标集成模型对应的目标函数；

子模型训练模块，用于对于所述目标集成模型中的任意一个子模型，根据预设训练集对所述子模型进行迭代训练，对于任意一个当前迭代过程，基于梯度下降算法根据所述子模型在上一次迭代过程中的网络参数和所述目标集成模型对应的目标函数更新获得所述子模型在当前迭代过程中的网络参数；

集成模型训练模块，用于若所述子模型在当前迭代过程中的网络参数与所述子模型在上一次迭代过程中的网络参数的差值不大于预设阈值，则所述子模型为收敛状态，当且仅当所述目标集成模型中的所有子模型均为收敛状态时，确定所述目标集成模型训练完成。