[发明专利]模型处理方法及相关设备

说明书

本发明实施例公开一种模型处理方法及相关设备，其中，根据预设算子结构将第一神经网络模型转换成第二神经网络模型，统一模型结构格式，其中，终端侧设备的至少一个硬件计算设备可推理运算第二神经网络模型；再将第二神经网络模型的算子分配给至少一个硬件计算设备中的至少一个设备，以使硬件计算设备运行所分配的算子；模型部署时，无需考虑神经网络模型的网络框架，有效提升模型的部署效率；另外，第二神经网络模型可以被分配给至少一个硬件计算设备进行运行，可以有效提高模型运行效率。

技术领域

本发明涉及模型技术领域，尤其涉及一种模型处理方法及相关设备。

背景技术

CPU(Central Processing Unit，中央处理器)作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。中央处理器主要包括两个部分，即控制器、运算器，其中还包括高速缓冲存储器及实现它们之间联系的数据、控制的总线。

GPU(Graphics Processing Unit，图形处理器)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。GPU的生产商主要有NVIDIA和ATI。

DSP(Digital Signal Processor，数字信号处理)芯片是一种独特的微处理器，是以数字信号来处理大量信息的器件。其工作原理是接收模拟信号，转换为0或1的数字信号，再对数字信号进行修改、删除、强化，并在其他系统芯片中把数字数据解译回模拟数据或实际环境格式。

NPU(Neural-network Processing Unit，嵌入式神经网络处理器)采用“数据驱动并行计算”的架构，特别擅长处理视频、图像类的海量多媒体数据。

神经网络作为引领当前人工智能(ArtificialIntelligence，简称AI)发展方向的关键技术，该技术在人脸识别、图像分类、模型处理、视频分析、语音识别、机器翻译等许多领域都取得了显著的效果，神经网络正在迅速被各互联网厂商所采用用于无人驾驶、语音助手、同声翻译等领域。

在终端侧设备上，会集成多个硬件计算设备(如CPU，GPU，DSP，NPU等)，这些硬件计算设备都可以进行神经网络模型推理运算。现有技术中存在多种神经网络框架，例如TensorFlow、keras、PyTorch、MXNet、Caffe2等，每一种神经网络框架都有对应的框架模型结构。

现有技术中，神经网络模型的训练工作在PC端进行，当将训练完成的神经网络模型部署到终端侧设备上时，需要开发者针对不同神经网络模型的神经网络框架分别进行部署，导致神经网络模型的部署效率十分低下。另外，一种神经网络模型只能部署在一种硬件计算设备上面进行运行，导致模型运行效率也十分低下，例如，神经网络模型M要么部署在CPU上，要么部署在GPU上，无法同时在CPU和GPU上进行部署。

发明内容

本发明实施例提供了一种模型处理方法及相关设备，可以提高模型部署效率和模型运行效率。

第一方面，本发明实施例提供了一种模型处理方法，应用于终端侧设备，所述终端侧设备包括至少一个硬件计算设备，所述方法包括：

获取第一神经网络模型；

根据所述第一神经网络模型和预设算子结构进行模型转换，得到第二神经网络模型，所述至少一个硬件计算设备可推理运算所述第二神经网络模型；

将所述第二神经网络模型的算子分配给所述至少一个硬件计算设备中的至少一个设备，以使所述硬件计算设备运行所分配的算子。

在一种可能的实现方式中，所述根据所述第一神经网络模型和预设算子结构进行模型转换，得到第二神经网络模型，包括：