[发明专利]神经网络的计算部署方法及装置、存储介质、计算机设备

说明书

一种神经网络的计算部署方法及装置、存储介质、计算机设备，其中，所述神经网络包括多个算子，所述方法包括：获取当前的计算单元的计算特性，所述计算特性包括所述当前的计算单元对各个算子的支持能力；根据所述当前的计算单元的计算特性，从所述神经网络中获取一个或多个算子；对获取的一个或多个算子进行融合，以生成子网络，所述子网络用于部署至所述当前的计算单元。由此，在主机将从神经网络中分割的算子部署到对应的计算单元时，能够减少主机和计算单元之间的I/O开销，提高执行效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种神经网络的计算部署方法及装置、存储介质、计算机设备。

背景技术

随着人工智能(Artificial Intelligence，简称AI)的发展，神经网络也得到了越来越广泛的应用。神经网络指人工神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络的结构和功能的数学模型或计算模型。算子是构成人工神经网络的最小计算单位，神经网络通常由多层的多个算子构成。可以将神经网络中的算子分割出来，部署到不同的计算单元。其中，计算单元指可以执行分割出的算子或算子集合的模块或者设备。

传统地，当将分割出的算子部署到计算单元时，AI计算框架通常以算子为单位进行部署，此时需要主机(Host)参与每一算子的部署，导致主机和计算单元之间频繁的输入/输出(Input/Output，简称I/O)开销，可能降低执行效率。

发明内容

本发明解决的技术问题是在主机将从神经网络中分割的算子部署到对应的计算单元时，如何减少主机和计算单元之间的I/O开销，提高执行效率。

为解决上述问题，本发明实施例提供了一种神经网络的计算部署方法，所述神经网络包括多个算子，所述方法包括：获取当前的计算单元的计算特性，所述计算特性包括所述当前的计算单元对各个算子的支持能力；根据所述当前的计算单元的计算特性，从所述神经网络中获取一个或多个算子；对获取的一个或多个算子进行融合，以生成子网络，所述子网络用于部署至所述当前的计算单元。

可选的，所述从所述神经网络中获取一个或多个算子，包括：从神经网络中，获取执行所述当前的计算单元的计算特性的目标算子，并获取与所述目标算子存在连接关系的算子。

可选的，所述神经网络包含多层，获取的算子来自所述神经网络的不同层，所述从所述神经网络中获取一个或多个算子，还包括：在获取的各个算子上标记该算子在所述神经网络中所属的层；所述对获取的一个或多个算子进行融合，以生成子网络，还包括：根据各个算子在所述神经网络中所属的层，将该算子部署在所述子网络中对应的层。

可选的，所述当前的计算单元的计算特性根据运行所述子网络的硬件设备的属性确定。

可选的，所述硬件设备至少包括中央处理器、图形处理器、嵌入式神经网络处理器、视觉信息处理器。

可选的，所述生成子网络之后，还包括：获取所述当前的计算单元的计算特性对应的框架接口，建立所述子网络中的一个或多个算子与所述框架接口之间的调用关系。

可选的，所述生成子网络之后，还包括：将所述子网络作为分发任务发送至所述当前的计算单元。

本发明实施例还提供一种经网络的计算部署装置，所述神经网络包括多个算子，所述装置包括：计算特性获取模块，用于获取当前的计算单元的计算特性，所述计算特性包括所述当前的计算单元对各个算子的支持能力；算子获取模块，用于根据所述当前的计算单元的计算特性，从所述神经网络中获取一个或多个算子；融合模块，用于对获取的一个或多个算子进行融合，以生成子网络，所述子网络用于部署至所述当前的计算单元。

本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行任一项所述方法的步骤。