[发明专利]神经网络模型的编译方法、装置、设备及存储介质

权利要求书

1.一种神经网络模型的编译方法，其特征在于，所述方法包括：

获取神经网络模型的图表示和中间表示，所述图表示用于表征所述神经网络模型的网络结构，所述中间表示是采用中间语言的代码；

根据所述图表示的特征，将所述图表示拆分为至少两个子图；

通过至少两个编译服务实例，对至少两个所述子图对应的子图中间表示进行并行编译，得到至少两段目标子程序，所述目标子程序为硬件的可识别代码；

对至少两段所述目标子程序进行组合，得到所述神经网络模型的目标程序。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图表示的特征，将所述图表示拆分为至少两个子图，包括：

获取所述图表示中计算节点的硬件支持特征、网络拓扑特征和数据量特征中的至少一种，所述硬件支持特征用于表征所述计算节点在不同硬件上的运行效率，所述数据量特征用于表征所述计算节点在计算过程中所占用硬件缓存的大小；

根据所述硬件支持特征、网络拓扑特征和数据量特征中的至少一种，将所述图表示拆分为至少两个所述子图。

3.根据权利要求2所述的方法，其特征在于，所述图表示的特征包括所述硬件支持特征；

所述根据所述硬件支持特征、网络拓扑特征和数据量特征中的至少一种，将所述图表示拆分为至少两个所述子图，包括：

根据所述硬件支持特性确定所述计算节点对应的目标硬件类型，其中，所述计算节点在所述目标硬件类型对应目标硬件上的运行效率高于在其他硬件上的运行效率；

根据所述目标硬件类型将所述图表示拆分为至少两个所述子图，其中，同一子图中的计算节点对应相同目标硬件类型。

4.根据权利要求2所述的方法，其特征在于，所述图表示的特征包括所述网络拓扑特征；

所述根据所述硬件支持特征、网络拓扑特征和数据量特征中的至少一种，将所述图表示拆分为至少两个所述子图，包括：

根据所述网络拓扑特征确定所述计算节点中的条件判断节点；将所述条件判断节点对应的不同条件判断分支划分为不同子图；

和/或，

根据所述网络拓扑特征将执行同一计算任务的计算节点划分至同一子图。

5.根据权利要求2所述的方法，其特征在于，所述图表示的特征包括所述数据量特征；

所述根据所述硬件支持特征、网络拓扑特征和数据量特征中的至少一种，将所述图表示拆分为至少两个所述子图，包括：

获取第n计算节点的第n权重数据量和第n计算数据量，以及第n+1计算节点的第n+1权重数据量，其中，权重数据量为所述计算节点中网络权重的数据量，计算数据量为所述计算节点计算过程中产生数据的数据量，所述第n计算节点与所述第n+1计算节点为连续计算节点，n为正整数；

响应于所述第n权重数据量、所述第n计算数据量和所述第n+1权重数据量的数据总量小于数据量阈值，将所述第n计算节点和所述第n+1计算节点划分至同一子图。

6.根据权利要求2至5任一所述的方法，其特征在于，所述硬件支持特征的特征优先级高于所述网络拓扑特征的特征优先级，所述硬件支持特征的特征优先级高于所述数据量特征的特征优先级；

所述根据所述硬件支持特征、网络拓扑特征和数据量特征中的至少一种，将所述图表示拆分为至少两个所述子图，包括：

响应于获取到至少两种所述图表示的特征，根据所述特征优先级将所述图表示拆分为至少两个所述子图。

7.根据权利要求1至5任一所述的方法，其特征在于，所述通过至少两个编译服务实例，对至少两个所述子图对应的子图中间表示进行编译，得到至少两段目标子程序，包括：

通过本地编译服务实例对至少两个所述子图对应的子图中间表示进行并行编译，得到至少两段所述目标子程序，所述本地编译服务实例运行在本地硬件；

或，

向远程编译服务实例分发至少两个所述子图对应的子图中间表示；接收所述远程编译服务实例发送的所述目标子程序，所述远程编译服务实例部署在远程编译设备的硬件中。