[发明专利]一种硬件友好的神经网络结构自动搜索方法及装置

权利要求书

1.一种硬件友好的神经网络结构自动搜索方法，其特征在于，包括以下步骤：

扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间；

在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；

利用所测量的实际推理时延数据，学习实际推理时延的模型，利用所述实际推理时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所述期望推理时延确定通道数目的分数；

将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对所述硬件友好的搜索空间；

利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

2.根据权利要求1所述的硬件友好的神经网络结构自动搜索方法，其特征在于，所述实际推理时延的模型为：

f(x)＝kx^a+b

其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。

3.根据权利要求1所述的硬件友好的神经网络结构自动搜索方法，其特征在于，根据所述实际推理时延和所述期望推理时延确定通道数目的分数，包括：

将所述实际推理时延和所述期望推理时延的差值作为该通道数目的分数，s(x)＝f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通道数目的期望推理时延，m(x)为实际推理时延。

4.根据权利要求1所述的硬件友好的神经网络结构自动搜索方法，其特征在于，所述根据通道数目的分数在每个通道组中选出每个通道的通道候选，包括：

在通道组中选出通道数目的分数最高的通道数目作为通道组的通道候选。

5.根据权利要求1所述的硬件友好的神经网络结构自动搜索方法，其特征在于，所述利用搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构，包括：

利用可导的搜索算法在所构建的硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

6.一种硬件友好的神经网络结构自动搜索装置，其特征在于，包括：

扩展模块，用于扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间；

测量模块，用于在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；

计算模块，用于利用所测量的实际推理时延数据，学习实际推理时延的模型，利用所述实际推理时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所述期望推理时延确定通道数目的分数；

构建模块，用于将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对所述硬件友好的搜索空间；

搜索模块，用于利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

7.根据权利要求6所述的硬件友好的神经网络结构自动搜索装置，其特征在于，所述实际推理时延的模型为：

f(x)＝kx^a+b

其中，k和b为待学习参数，x为通道数目，a为硬件相关的可调参数。

8.根据权利要求6所述的硬件友好的神经网络结构自动搜索装置，其特征在于，根据所述实际推理时延和所述期望推理时延确定通道数目的分数，包括：

将所述实际推理时延和所述期望推理时延的差值作为该通道数目的分数，s(x)＝f(x)-m(x)，其中，s(x)为通道数目的分数，f(x)为利用实际推理时延的模型预测的每个通道数目的期望推理时延，m(x)为实际推理时延。