[发明专利]神经网络架构搜索的方法及图像分类的方法和装置

权利要求书

1.一种神经网络架构搜索的方法，其特征在于，包括：

针对待生成神经网络架构中的当前架构单元，根据搜索模型中包含的所述待生成神经网络架构中每个其他架构单元与所述当前架构单元的连接关系对应的第一权重，从各其他架构单元中选择与所述当前架构单元连接的第一目标单元；根据预设的搜索空间中包含的每个备选单元，以及所述搜索模型中包含的每个备选单元对应的第二权重，从各备选单元中选择用于实现所述当前架构单元的第二目标单元；

根据针对所述待生成神经网络架构中的每个架构单元选择的第一目标单元和第二目标单元，生成神经网络架构；

根据训练样本，预测生成的神经网络架构的质量，并根据预测的所述质量确定所述搜索模型的损失；

以所述损失最小化为优化目标，训练所述搜索模型，以至少对所述搜索模型中的第一权重和第二权重进行调整，直至满足预设的训练条件时，根据训练完成的搜索模型中包含的第一权重和第二权重生成神经网络架构。

2.如权利要求1所述的方法，其特征在于，从各其他架构单元中选择与所述当前架构单元连接的第一目标单元，具体包括：

按照与所述当前架构单元的连接关系对应的第一权重从大到小的顺序，在所述待生成神经网络架构的各其他架构单元中，依次选择至少一个其他架构单元，作为第一目标单元。

3.如权利要求1所述的方法，其特征在于，根据预设的搜索空间中包含的每个备选单元，以及所述搜索模型中包含的每个备选单元对应的第二权重，从各备选单元中选择用于实现所述当前架构单元的第二目标单元，具体包括：

查询预设的搜索空间中包含的每个备选单元；

针对每个备选单元，在所述搜索模型包含的各第二权重中，查询在所述当前架构单元与所述第一目标单元连接的情况下，选择该备选单元用于实现所述当前架构单元的第二权重，作为该备选单元对应的第二权重；

根据每个备选单元对应的第二权重，从各备选单元中选择用于实现所述当前架构单元的第二目标单元。

4.如权利要求1所述的方法，其特征在于，从各备选单元中选择用于实现所述当前架构单元的第二目标单元，具体包括：

针对每个备选单元，根据该备选单元对应的第二权重，确定选择该备选单元用于实现所述当前架构单元的概率；其中，所述第二权重与所述概率正相关；

重复执行指定次数下述指定步骤：

根据选择各备选单元的概率，从各备选单元中选择用于实现所述当前架构单元的第二目标单元。

5.如权利要求4所述的方法，其特征在于，根据针对所述待生成神经网络架构中的每个架构单元选择的第一目标单元和第二目标单元，生成神经网络架构，具体包括：

针对所述待生成神经网络架构中的每个架构单元，以为该架构单元选择的第一目标单元的输出，作为该架构单元的输入，连接为该架构单元选择的第一目标单元与该架构单元；

针对每次执行的所述指定步骤，采用该次为所述待生成神经网络架构中的各架构单元选择的第二目标单元，实现所述待生成神经网络架构中的各架构单元，得到该次执行所述指定步骤对应的神经网络架构。

6.如权利要求5所述的方法，其特征在于，根据训练样本，预测生成的神经网络架构的质量，并根据预测的所述质量确定所述搜索模型的损失，具体包括：

针对每次执行的指定步骤，根据训练样本，预测该次执行指定步骤对应的神经网络架构的质量，并根据预测的所述质量确定该次执行指定步骤时所述搜索模型的损失；

确定每次执行指定步骤时所述搜索模型的损失的平均值，作为所述搜索模型的损失。

7.如权利要求5所述的方法，其特征在于，所述方法还包括：

针对每次执行的指定步骤，根据训练样本，确定该次执行指定步骤对应的神经网络的损失；

针对每个第二目标单元，根据选择该第二目标单元的各次指定步骤对应的神经网络的损失的平均值，调整该第二目标单元中的模型参数。