[发明专利]一种基于半监督性能预测器的多目标神经架构搜索方法

说明书

本发明涉及一种基于半监督性能预测器的多目标神经架构搜索方法，对搜索空间进行编码，将搜索空间中的操作映射为整数，形成样本；采样N个神经网络结构并获取其精度作为初始样本P，训练集成KNN回归模型作为初始半监督预测器；初始样本P产生候选种群P₁，得到P₀训练性能预测器；将父代种群P_t交叉和变异，得到交叉变异子种群P”，将父代种群P_t和交叉变异子种群P”混合并非支配排序；将支配等级低的个体选择发优先选择置信度高的个体加入新一代种群P_t+1，直到种群P_t+1的数量等于种群数量N。提高神经架构搜索的效率，并降低了此预测器的预测误差；使得遗传算法的搜索向具有高预测精度和高置信度的候选网络结构进行，提高搜索到高精度神经网络结构的概率。

技术领域

本发明涉及半监督学习领域，更具体地，涉及一种基于半监督性能预测器的多目标神经架构搜索方法。

背景技术

深度神经网络在图像分类、自然语言处理、目标检测等各种实际应用中取得了巨大成功。这主要因为具有深层结构的神经网络的强大的特征提取能力，它可以直接从原始数据中学习有意义的特征，几乎不需要任何明确的特征工程。这使得研究人员能够专注于神经架构的设计。然而，设计神经结构在很大程度上依赖于研究人员的先验知识和经验。目前有前途的卷积神经网络(CNN)模型都是由具有丰富神经网络和图像处理知识的研究人员手动设计的。在实践中，大多数开发者并不具备此类知识。此外，神经网络体系结构通常特定于问题，问题的不同也意味着体系结构的改变。神经架构搜索(NAS)旨在自动化神经网络的架构设计，被认为是解决上述挑战的一种有前途的方法。

NAS在有限的资源下自动化搜索神经体系结构，以最少的人为干预，实现尽可能最佳的性能。NAS的早期工作使用强化学习方法，搜索到的神经结构在图像分类任务中达到了最先进的分类精度。随后，大规模进化的工作再次验证了这个概念的可行性，通过使用进化计算获得了类似的结果。NAS背后的关键技术涉及使用搜索策略，通过比较大量候选神经结构的性能来找到最佳的神经结构。因此，候选神经结构的性能排名非常重要。先前的NAS通常会完全训练候选神经结构，然后根据其在验证集上的性能获得候选神经结构的排名。然而，这种方法非常耗时，因为要训练的候选神经结构太多。大多数研究人员对于如此大的资源消耗是难以接受的。因此，神经架构搜索逐渐转向高效和轻量化。

加速神经架构搜索的一种常见方法是性能预测器。它只需要训练小部分神经网络，将这些带真实精度的神经网络作为训练数据训练性能预测器就能预测其他神经网络的性能，避免了在搜索过程中大量模型的从头训练。然而，监督学习下只有少量数据训练的性能预测器容易过拟合，因此对搜索出的神经网络精度预测不准确。半监督学习将高质量无标签数据作为训练数据训练性能预测器，大大缓解了监督学习的过拟合现象。然而，半监督学习构造的模型性能很大程度上受基础学习器影响，它的性能也会随着无标签数据的加入而减弱。此外现有的性能预测器都是通过筛选高置信度个体保证预测的精度。而进化算法的收敛很大程度上是通过筛选种群中的优秀个体而保证的。性能预测器无法保证预测种群中优秀个体的高置信度，也就无法保证搜索到高精度神经网络。

现有的技术中，中国发明专利公开了一种用于确定配置为执行特定的机器学习任务的任务神经网络的架构的方法。该方法包括：获得数据，该数据指定用于任务神经网络的候选架构的当前集合；对于当前集合中的每个候选架构：使用具有多个性能预测参数的性能预测神经网络来处理指定候选架构的数据，性能预测神经网络被配置为根据性能预测参数的当前值处理指定候选架构的数据以生成性能预测，该性能预测表征具有候选架构的神经网络在关于特定的机器学习任务的训练之后将执行得有多好；以及通过基于当前集合中的候选架构的性能预测来选择当前集合中的一个或多个候选架构来生成候选架构的更新集合，并不能保证预测种群中优秀个体的高置信度，也无法保证搜索到高精度神经网络。

发明内容

本发明为解决现有的性能预测器无法保证预测种群中优秀个体的高置信度，也无法保证搜索到高精度神经网络的技术缺陷，提供了一种基于半监督性能预测器的多目标神经架构搜索方法。