[发明专利]神经网络架构搜索的方法及图像分类的方法和装置

说明书

本说明书公开了一种神经网络架构搜索的方法及图像分类的方法和装置，搜索模型中包含第一权重和第二权重，对于待生成神经网络架构中的一个架构单元而言，第一权重表示该架构单元与待生成神经网络架构中的每个其他架构单元之间的连接的重要性，第二权重表示采用搜索空间中的每个备选单元来实现该架构单元的重要性，在训练搜索模型时，根据第一权重选择与该架构单元相连的其他架构单元，根据第二权重选择用于实现该架构单元的备选单元，根据选择的结果生成神经网络架构，预测生成的神经网络架构的质量，根据预测结果对搜索模型进行训练，以调整第一权重和第二权重，通过训练完成的搜索模型生成神经网络架构，可有效提高生成的神经网络架构的质量。

技术领域

本说明书涉及机器学习技术领域，尤其涉及一种神经网络架构搜索的方法及图像分类的方法和装置。

背景技术

目前，以神经网络为基础的机器学习技术已经广泛应用在各个技术领域，如图像分类、无人驾驶决策等。对于神经网络来说，可以作为架构中的架构单元的各种处理层、模块、子网络越来越多，而神经网络架构通常需要人工来设计，因此，可自动化生成神经网络架构的神经网络架构搜索(Neural Architecture Search，NAS)方法应运而生。

GDAS是NAS的一种，在通过GDAS搜索神经网络架构时，需要先预设搜索空间，搜索空间中包含各种架构单元，然后在该搜索空间中搜索神经网络架构。

具体的，在搜索神经网络架构时，主要关注的是两个问题，第一是针对神经网络架构中的一个架构单元，该架构单元选择搜索空间中的哪个架构单元来实现，第二是针对神经网络架构中的一个架构单元，该架构单元与该神经网络架构中的哪些其他架构单元相连。

NAS的最终目的是输出优质的神经网络架构，而对于一个神经网络架构来说，评价其质量的好坏则需要对该架构的神经网络进行训练，训练后才能够评价，因此，NAS每次输出一个架构，就需要对其输出的架构对应的神经网络进行训练，训练后评价该架构的优劣，这无疑会极大的增加NAS搜索架构的时间成本。而在GDAS中，输出一个架构后，只少量的训练该架构的神经网络，然后根据少量训练后的神经网络，预测该架构的优劣，以节省时间成本。

但是，使用GDAS搜索出的架构，其实际使用时的效果依然不够理想，因此，如何通过自动搜索的方法得到效果理想的架构，是一个亟待解决的问题。

发明内容

本说明书实施例提供一种神经网络架构搜索的方法及图像分类的方法和装置，以部分解决上述现有技术存在的问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种神经网络架构搜索的方法，包括：

针对待生成神经网络架构中的当前架构单元，根据搜索模型中包含的所述待生成神经网络架构中每个其他架构单元与所述当前架构单元的连接关系对应的第一权重，从各其他架构单元中选择与所述当前架构单元连接的第一目标单元；根据预设的搜索空间中包含的每个备选单元，以及所述搜索模型中包含的每个备选单元对应的第二权重，从各备选单元中选择用于实现所述当前架构单元的第二目标单元；

根据针对所述待生成神经网络架构中的每个架构单元选择的第一目标单元和第二目标单元，生成神经网络架构；

根据训练样本，预测生成的神经网络架构的质量，并根据预测的所述质量确定所述搜索模型的损失；

以所述损失最小化为优化目标，训练所述搜索模型，以至少对所述搜索模型中的第一权重和第二权重进行调整，直至满足预设的训练条件时，根据训练完成的搜索模型中包含的第一权重和第二权重生成神经网络架构。

可选地，从各其他架构单元中选择与所述当前架构单元连接的第一目标单元，具体包括：