[发明专利]一种神经网络的前向推理方法、装置、设备及存储介质

权利要求书

1.一种神经网络的前向推理方法，其特征在于，包括：

将目标神经网络划分为多个子网络，其中，任一子网络包括所述目标神经网络的一个隐层或多个连续隐层；

在推理平台的硬件设备上创建所述多个子网络分别对应的推理实例和推理引擎；

基于所述多个子网络分别对应的推理实例和推理引擎，对所述目标神经网络进行前向推理；

其中，所述将目标神经网络划分为多个子网络，包括：

获取所述推理平台的硬件设备信息以及目标神经网络的计算量和所需的存储空间；

基于所述推理平台的硬件设备信息、所述目标神经网络的计算量和所需的存储空间以及用户配置的并行模式，确定适合所述目标神经网络的并行模式，其中，所述并行模式包括单设备并行模式和多设备并行模式，在所述单设备并行模式下，所述目标神经网络的前向推理基于单个设备实现，在所述多设备并行模式下，所述目标神经网络的前向推理基于多个设备实现；

基于适合所述目标神经网络的并行模式，将所述目标神经网络划分为多个子网络。

2.根据权利要求1所述的神经网络的前向推理方法，其特征在于，所述推理平台的硬件设备信息包括以下信息中的一种或多种：

硬件设备的个数、硬件设备的计算能力、硬件设备的存储容量、硬件设备间的传输带宽。

3.根据权利要求1所述的神经网络的前向推理方法，其特征在于，获取所述目标神经网络的计算量和所需的存储空间，包括：

根据所述目标神经网络的网络参数，构建所述目标神经网络的计算图；

根据所述目标神经网络的计算图，确定所述目标神经网络各层的计算量和所需的存储空间；

通过所述目标神经网络各层的计算量和所需的存储空间，确定整个所述目标神经网络的计算量和所需的存储空间。

4.根据权利要求1所述的神经网络的前向推理方法，其特征在于，所述基于所述推理平台的硬件设备信息、所述目标神经网络的计算量和所需的存储空间以及用户配置的并行模式，确定适合所述目标神经网络的并行模式，包括：

若整个所述目标神经网络的计算量大于单个设备的计算能力，和/或，整个所述目标神经网络所需的存储空间大于单个设备的存储容量，则确定适合所述目标神经网络的并行模式为所述多设备并行模式；

若整个所述目标神经网络的计算量小于或等于所述单个设备的计算能力，并且，整个所述目标神经网络所需的存储空间小于或等于所述单个设备的存储容量，则基于所述用户配置的并行模式确定适合所述目标神经网络的并行模式。

5.根据权利要求4所述的神经网络的前向推理方法，其特征在于，所述基于所述用户配置的并行模式确定适合所述目标神经网络的并行模式，包括：

当所述用户配置的并行模式为所述单设备并行模式时，确定适合所述目标神经网络的并行模式为所述单设备并行模式；

当所述用户配置的并行模式为所述多设备并行模式时，若设备间的传输时间大于预先设置的子网络的最大执行时间，则确定适合所述目标神经网络的并行模式为所述单设备并行模式，若所述设备间传输时间小于或等于所述预先设置的子网络的最大执行时间，则确定适合所述目标神经网络的并行模式为所述多设备并行模式。

6.根据权利要求1所述的神经网络的前向推理方法，其特征在于，所述基于适合所述目标神经网络的并行模式，将所述目标神经网络划分为多个子网络，包括：

若适合所述目标神经网络的并行模式为所述多设备并行模式，则基于所述硬件设备的个数获得子网络的划分个数，基于所述子网络的划分个数对所述目标神经网络进行划分；

若适合所述目标神经网络的并行模式为所述单设备并行模式，基于预先设定的子网络划分个数对所述目标神经网络进行划分。