[发明专利]深度学习框架的算子融合方法、装置

说明书

本公开提供了一种深度学习框架的算子融合方法、装置，涉及人工智能技术领域，具体为深度学习技术领域。深度学习框架的算子融合方法包括：确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。本公开能够降低算子融合的成本，并提升算子融合的准确性，且极大地减少了代码编译结果中的代码数量，提升了深度学习框架的运行效率。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习技术领域。提供了一种深度学习框架的算子融合方法、装置、电子设备与可读存储介质。

背景技术

随着深度学习在各个行业领域中的应用越来越广泛，对于深度学习框架在进行推理时的速度要求也越来越高。现有技术在优化深度学习框架的性能时，通常采用的方法就是算子融合。但是，现有技术通常是基于算子的算子类型来进行算子融合，由于算子类型的数量较大，因此导致算子融合时的步骤较为复杂，算子融合的效率较低。

发明内容

根据本公开的第一方面，提供了一种深度学习框架的算子融合方法，包括：确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

根据本公开的第二方面，提供了一种深度学习框架的算子融合装置，包括：获取单元，用于确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；确定单元，用于根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；融合单元，用于分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

由以上技术方案可以看出，本公开对深度学习框架中的特定算子进行了融合，极大地减少了代码编译结果中的代码数量，因此提升了深度学习框架的运行效率，且通过结合算子的执行顺序与融合标签的方式来融合算子，能够在提升算子融合的准确性的同时，降低算子融合的成本。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是用来实现本公开实施例的深度学习框架的算子融合方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和机构的描述。