[发明专利]一种硬件友好的神经网络结构自动搜索方法及装置

说明书

本发明公开了一种硬件友好的神经网络结构自动搜索方法及装置，该方法包括：扩展原始网络结构中每层的通道数目上限；在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；利用实际推理时延数据学习实际推理时延的模型，预测每个通道数目的期望推理时延，根据实际推理时延和期望推理时延确定通道数目的分数；将通道数目的全局搜索空间分成多个不同的通道组，根据分数选出多个通道候选，构建出对硬件友好的搜索空间；利用搜索算法在所构建的硬件友好的搜索空间中，找到硬件对应的神经网络结构。该方法为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能。

技术领域

本发明涉及深度学习技术领域，特别涉及一种硬件友好的神经网络结构自动搜索方法及装置。

背景技术

深度神经网络已在许多领域取得了巨大的成功，如自然语言处理，语音识别和计算机视觉等。深度神经网络的成功得益于其表征能力，实现了自动化的特征工程，其网络结构，例如每层网络的通道数目对其推理表现影响很大。

现在深度神经网络结构复杂多样，设计空间巨大，人工设计需要高昂的人力成本，因此如何找到最优的神经网络结构成为了一个难点。

目前相关技术一般先构建网络结构的搜索空间，然后利用搜索算法在搜索空间中对网络结构进行采样，并结合表现评估策略对采样到的网络结构进行评估，最终得到最优的网络结构。

相关技术一般用理论计算量FLOPs来评估模型的推理速度，与模型的实际表现不符。另外，由于硬件平台之间的架构存在差异性，不同硬件平台上最优的网络结构一般不一致，而相关技术无法针对不同硬件平台，设计该硬件平台上最高效的网络结构。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种硬件友好的神经网络结构自动搜索方法，该方法构建硬件友好的通道数目搜索空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能，得到最优的神经网络结构。

本发明的另一个目的在于提出一种硬件友好的神经网络结构自动搜索装置。

为达到上述目的，本发明一方面实施例提出了一种硬件友好的神经网络结构自动搜索方法，包括：

扩展原始网络结构中每层的通道数目上限，以扩大通道数目的全局搜索空间；

在每层通道数目的全局搜索空间中，测量不同输出分辨率下，每个通道数目在硬件上的实际推理时延；

利用所测量的实际推理时延数据，学习实际推理时延的模型，利用所述实际推理时延的模型预测每个通道数目的期望推理时延，根据所述实际推理时延和所述期望推理时延确定通道数目的分数；

将通道数目的全局搜索空间分成多个不同的通道组，根据通道数目的分数在每个通道组中选出每个通道的通道候选，从而在全局搜索空间中选出多个通道候选，构建出对所述硬件友好的搜索空间；

利用搜索算法在所构建的所述硬件友好的搜索空间中，找到所述硬件对应的神经网络结构。

本发明实施例的硬件友好的神经网络结构自动搜索方法，通过针对特定硬件平台，考虑到不同硬件平台上最优网络结构的差异性，针对不同的硬件平台分别设计其最高效的网络结构，从而提高了所部署的神经网络的推理速度；构建硬件友好的通道数目搜索空间，为后续的搜索策略提供对于硬件高效的通道数量候选，搜索到的网络结构在特定硬件平台上具有更好的性能，得到最优的神经网络结构。

另外，根据本发明上述实施例的硬件友好的神经网络结构自动搜索方法还可以具有以下附加的技术特征：

在本发明的一个实施例中，所述实际推理时延的模型为：