[发明专利]一种基于知识蒸馏的神经网络搜索方法及系统

说明书

本发明公开一种基于知识蒸馏的神经网络搜索方法及系统，方法包括：构建神经网络搜索空间，数据流在各搜索神经网络子空间选定任一基本网络结构按一定方向传递构成有向无环图集合组成神经超级网络；根据不同深度将神经超级网络划分为多个子空间块；基于知识蒸馏分别对多个子空间块进行单独训练，获取各子空间块有向无环图对应的损失值，对各子空间块中的损失值进行排序，将损失值最小的作为最优有向无环图模型；将最优模型并组合得到目标神经网络。本发明将大搜索空间的神经架构搜索模块化确保潜在的候选网络结构得到公平的训练，减少由共享参数引起的表示偏差，从而确保候选结构的正确评分，正确的模型评分和排序提高了搜索的有效性，且扩展性好。

技术领域

本发明涉及深度学习的模型技术领域，具体涉及一种基于知识蒸馏的神经网络搜索方法及系统。

背景技术

神经网络搜索(NAS)作为AutoML的一项重要任务，有望减少网络架构设计中人类专家所需的工作量。近两年来，业界加速了对NAS的研究，并提出了许多解决方案。

在数学上，NAS最精确的解决方案是在搜索空间内从零开始训练每一个候选体系结构到收敛，并比较它们的性能，然而成本高得惊人。次优的解决方案是使用高级搜索策略(如RL或EA)仅在搜索子空间中训练体系结构；尽管这仍然很耗时，因为即使是训练一个体系结构也需要很长的时间(例如，在ImageNet上的ResNet需要超过10GPU天)。为了加快网络接入速度，最近的研究工作提出，不同的候选对象应该通过共享网络参数来进行并行训练，而不是从零开始到收敛的全部训练。随后，可以通过基于这些未经充分训练的共享网络参数评估不同候选体系结构的性能来确定它们的等级。然而，仍然存在几个问题：基于未充分训练的网络参数的评估是否正确排列了候选模型在从无到有的训练中，达到最高精度的体系结构能否捍卫它的最高排名，最佳网络参数W*不一定表示子网(即候选架构)的最佳网络参数ω*，因为子网没有得到公平和充分的训练。基于W*的评估不能正确排列候选模型，因为搜索空间通常很大(例如，10^15)。不准确的评估导致了现有NAS的无效性。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中的神经网络搜索工作量大及性能差的缺陷，从而提供一种基于知识蒸馏的神经网络搜索方法及系统。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种基于知识蒸馏的神经网络搜索方法，包括：

构建神经网络搜索空间，其包括多个搜索神经网络子空间，数据流在各搜索神经网络子空间选定任一基本网络结构按一定方向传递，构成有向无环图集合，组成神经超级网络；

根据不同深度将神经超级网络划分为多个子空间块；

基于知识蒸馏分别对多个子空间块进行单独训练，获取各子空间块多层神经网络的有向无环图对应的损失值，并对各子空间块中的损失值进行排序，将损失值最小的作为最优有向无环图模型；

将各子空间块的最优有向无环图模型并进行组合，得到最优的目标神经网络。

进一步地，每个子空间块包括多个层数不同的多层神经网络，所述多个多层神经网络之间不存在数据流交叉流动，不同子空间块之间的数据流动遵循有向无环图规则。

在一实施例中，基于知识蒸馏的神经网络搜索方法还包括：初始化所述目标神经网络参数，根据目标任务进行重新训练，得到最终模型。

进一步地，基于知识蒸馏分别对多个子空间块进行单独训练的步骤包括：将教师网络对应神经超级网络前一层子空间块输出的特征图作为神经超级网络当前空间块的输入特征，通过最小化子空间块的输出特征与教师网络对应当前子空间块的输出的特征图的范式距离，对各子空间块进行训练。

在一实施例中，对各子空间块进行搜索时通过预设的约束条件，筛选出符合约束条件的模型进行训练。