[发明专利]神经网络计算图的处理方法、计算机存储介质及电子设备

说明书

本发明提供了一种神经网络计算图的处理方法、计算机存储介质及电子设备。神经网络计算图的处理方法包括基于用户创建神经网络模型的需求获取创建所需神经网络模型的程序代码；根据程序代码生成所需神经网络模型的计算图；将计算图进行格式转换，得到目标计算图，目标计算图包含多个算子和各算子之间的连接关系；根据各算子的特征将各算子映射到与各算子的特征匹配的运算设备中，得到运算设备和算子的映射关系表；根据映射关系表将各算子加载到与算子匹配的运算设备中以进行计算。通过根据映射关系表将各算子加载到与算子匹配的运算设备中以进行计算，可以充分发挥每个运算设备的优点，提高运算设备的运算效率。

技术领域

本发明涉及人工智能算法技术领域，特别是涉及一种神经网络计算图的处理方法、计算机存储介质及电子设备。

背景技术

现有的神经网络计算图的处理方法中，神经网络计算图中的各算子在同一运行时间内往往只能运行在专用集成电路(Application Specific Integrated Circuit，ASIC)、图形处理器(Graphic Processing Unit，GPU)、张量处理器(Tensor Processing Unit，TPU)运算设备中，或者运行在中央处理器(Central Processing Unit，CPU)、可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)运算设备中。对于异构架构的边缘计算推理平台，运算设备中同时存在中央处理器、图形处理器、张量处理器、专用集成电路、现场可编程逻辑门阵列等运算设备时，现有的神经网络计算图的处理方法不能充分的利用他们来协同完成整体任务。具体地，例如无法根据神经网络计算图中的各算子的控制逻辑复杂度和计算量大小的特征将各算子映射到与各算子的特征匹配的运算设备中，导致运算设备的运算效率比较低下。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的神经网络计算图的处理方法、计算机存储介质及电子设备。

本发明的一个目的是要提供一种提高运算设备运算效率的神经网络计算图的处理方法、计算机存储介质及电子设备。

本发明的一个进一步的目的是提供任意类型的输入输出张量从而提高了算子的灵活性和运算效率。

根据本发明的一个方面，本发明提供了一种神经网络计算图的处理方法，包括：

基于用户创建神经网络模型的需求获取创建所需神经网络模型的程序代码；

根据所述程序代码生成所述所需神经网络模型的计算图；

将所述计算图进行格式转换，得到目标计算图，所述目标计算图包含多个算子和各所述算子之间的连接关系；

根据各所述算子的特征将各所述算子映射到与各所述算子的特征匹配的运算设备中，得到所述运算设备和所述算子的映射关系表；

根据所述映射关系表将各所述算子加载到与所述算子匹配的运算设备中以进行计算。

可选的，还包括：

将各所述算子通过匹配的运算设备的计算结果基于各所述算子之间的连接关系进行逻辑处理后，创建所述所需神经网络模型。

可选的，各所述算子至少包括输入张量和输出张量。

可选的，各所述算子还包括权重参数张量。

可选的，所述输入张量、所述输出张量和所述权重参数张量为任意数据类型。

可选的，根据各所述算子的特征将各所述算子映射到与各所述算子的特征匹配的运算设备中，包括：

按照各所述算子的控制逻辑复杂度和计算量大小的特征对各所述算子进行分类；

将不同类别的所述算子分别映射到与所述算子特征匹配的运算设备中。