[发明专利]深度学习框架的算子融合方法、装置

权利要求书

1.一种深度学习框架的算子融合方法，包括：

确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；

根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；

分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

2.根据权利要求1所述的方法，其中，所述根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合包括：

将算子的属性信息在预设的对应关系表中进行匹配，将匹配结果作为算子的融合标签；

根据算子的执行顺序与所确定的融合标签，确定所述算子集合中与预设的融合模式对应的至少一个算子子集合。

3.根据权利要求2所述的方法，其中，所述确定所述算子集合中与预设的融合模式对应的至少一个算子子集合包括：

将所述算子集合中满足预设融合模式的多个算子，作为待融合算子；

按序将对应不同的预设融合模式的待融合算子进行组合，得到至少一个算子子集合。

4.根据权利要求1所述的方法，其中，所述分别将所述至少一个算子子集合中的各算子进行融合包括：

针对每个算子子集合，在确定该算子子集合中预设算子的输出仅为与其连接的下一个算子的输入的情况下，融合该算子子集合中的各算子。

5.根据权利要求1所述的方法，其中，所述分别将所述至少一个算子子集合中的各算子进行融合包括：

针对每个算子子集合，获取该算子子集合中各算子的算子类型；

在确定所获取的算子类型中不包含预设算子类型的情况下，融合该算子子集合中的各算子。

6.根据权利要求1所述的方法，还包括，

在得到至少一个融合算子之后，针对每个融合算子，将算子子集合中各算子的输入作为融合算子的输入，将算子子集合中最后一个算子的输出作为融合算子的输出；

根据所确定的融合算子的输入与输出进行编译，得到融合算子的代码。

7.一种深度学习框架的算子融合装置，包括：

获取单元，用于确定在深度学习框架中运行的至少一个神经网络模型，获取对应所述至少一个神经网络模型的算子集合；

确定单元，用于根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合；

融合单元，用于分别将所述至少一个算子子集合中的各算子进行融合，得到至少一个融合算子。

8.根据权利要求7所述的装置，其中，所述确定单元在根据算子的执行顺序与融合标签，确定所述算子集合中与预设融合模式对应的至少一个算子子集合时，具体执行：

将算子的属性信息在预设的对应关系表中进行匹配，将匹配结果作为算子的融合标签；

根据算子的执行顺序与所确定的融合标签，确定所述算子集合中与预设的融合模式对应的至少一个算子子集合。

9.根据权利要求8所述的装置，其中，所述确定单元在确定所述算子集合中与预设的融合模式对应的至少一个算子子集合时，具体执行：

将所述算子集合中满足预设融合模式的多个算子，作为待融合算子；

按序将对应不同的预设融合模式的待融合算子进行组合，得到至少一个算子子集合。

10.根据权利要求7所述的装置，其中，所述融合单元在分别将所述至少一个算子子集合中的各算子进行融合时，具体执行：

针对每个算子子集合，在确定该算子子集合中预设算子的输出仅为与其连接的下一个算子的输入的情况下，融合该算子子集合中的各算子。