[发明专利]神经网络模型的配置确定方法、装置、设备及存储介质

说明书

本申请实施例提供了神经网络模型的配置确定方法、装置、设备及存储介质，根据目标网络层的维度信息以及目标硬件的硬件指令查询预设模型代价评估表中的先验信息及普适性的通用信息，能够得到令各目标网络层时钟周期数最短的预设配置，即目标神经网络模型运行时钟周期数最小时各目标网络层的配置，从而得到目标神经网络模型在目标硬件中的最优配置，后续可以利用最优配置实现神经网络模型在目标硬件中的快速落地。

技术领域

本申请涉及计算机技术领域，特别是涉及神经网络模型的配置确定方法、装置、设备及存储介质。

背景技术

随着计算机技术的不断发展，人工智能技术进入了快速发展阶段，在各种人工智能技术中，神经网络模型的研究及应用最为广泛，逐渐成为最具代表性的人工智能技术。

评价一个神经网络模型性能的优劣，关注的是高吞吐率、低响应时间、低资源消耗以及简便的部署流程等方面。随着神经网络模型越来越复杂，计算量越来越大，因此神经网络模型的硬件也在不断的更新升级，例如，从之前单一的硬件AI(人工智能)加速单元转变为众核加速。但是在新硬件落地时，往往会出现这样一个问题，同一个模型在之前硬件上经过很长一段时间的性能优化后，性能达到了最优状态，但是放到另外一款硬件上后，之前优化的性能无法体现出来，又需要很长一段时间的性能优化，这样很不利于神经网络模型的快速落地。

发明内容

本申请实施例的目的在于提供一种神经网络模型的配置确定方法、装置、设备及存储介质，以实现确定神经网络模型在不同硬件中的配置，从而可以利用该配置实现神经网络模型在指定硬件中的快速落地。具体技术方案如下：

第一方面，本申请实施例提供了一种神经网络模型的配置确定方法，所述方法包括：

获取待配置的目标神经网络模型中各目标网络层的维度信息以及用于运行所述目标神经网络模型的目标硬件的各目标硬件指令；

根据所述各目标网络层的维度信息及所述各目标硬件指令，查询预设模型代价评估表中的先验信息以及通用信息，分别确定各目标网络层在所述目标硬件上运行时钟周期数最短时所对应的预设配置，从而得到所述目标神经网络模型中各目标网络层的最优配置，其中，所述先验信息包括预先获取的不同预设测试模式下的各预设网络层的最优配置，所述预设测试模式表示利用各预设硬件指令实现各预设网络层的功能，每一预设网络层均对应有相应的维度信息，所述最优配置为时钟周期数最短时所对应的配置；所述通用信息包括不同预设配置下执行各预设硬件指令所需的时钟周期数。

在一种可能的实施方式中，所述根据所述各目标网络层的维度信息及所述各目标硬件指令，查询预设模型代价评估表中的先验信息以及通用信息，分别确定各目标网络层在所述目标硬件上运行时钟周期数最短时所对应的预设配置，从而得到所述目标神经网络模型中各目标网络层的最优配置，包括：

针对每一目标网络层，根据该目标网络层的维度信息查询预设模型代价评估表的先验信息，若查找到该目标网络层对应的预设网络层，则将查找到预设网络层的最优配置作为该目标网络层的最优配置；

针对每一目标网络层，若预设模型代价评估表的先验信息中不存在该目标网络层对应的预设网络层，则确定用于实现该目标网络层的功能所需的各目标硬件指令得到硬件指令集；查询预设模型代价评估表的通用信息，分别确定各预设配置下执行硬件指令集所需的时钟周期数，并选取时钟周期数最短的预设配置，作为该目标网络层的最优配置。

在一种可能的实施方式中，预先建立预设模型代价评估表的步骤包括：

获取预设的基准神经网络模型；

针对所述基准神经网络模型的每一基准网络层，确定不同硬件情况下实现该基准网络层的功能所需的预设硬件指令，并在不同预设配置下分别执行各预设硬件指令，得到不同预设配置下分别执行各预设硬件指令所需的时钟周期数作为通用信息记录到模型代价评估表中；

获取预设的专用神经网络模型；