[发明专利]神经网络模型部署方法及装置、电子设备和存储介质

权利要求书

1.一种神经网络模型部署方法，其特征在于，应用于电子设备，所述方法包括：

获取待部署的神经网络模型；

对所述神经网络模型进行编译，得到编译后的离线模型，所述离线模型包括多个离线子模型，每个所述离线子模型部署到对应的硬件后端，各种硬件后端分别对应于将神经网络模型部署至硬件设备的不同工具链，每个硬件设备对应于至少一个硬件后端；

将所述多个离线子模型下发至对应的硬件设备。

2.根据权利要求1所述的方法，其特征在于，所述对所述神经网络模型进行编译，得到编译后的离线模型，包括：

对所述神经网络模型进行结构转换，得到适应于模型变换的内部模型结构；

根据待部署的各个所述硬件后端，对所述内部模型结构进行拆分，得到多个子模型以及所述多个子模型间的串联关系，其中，每一子模型对应一个目标硬件后端；

针对任一子模型，对所述子模型进行与所述目标硬件后端相关的模型变换操作，得到部署到所述目标硬件后端的离线子模型；

根据多个所述离线子模型以及所述串联关系，确定所述离线模型。

3.根据权利要求2所述的方法，其特征在于，所述目标硬件后端为所述子模型可部署的硬件后端中预设优先级最高的硬件后端。

4.根据权利要求3所述的方法，其特征在于，所述根据待部署的各个所述硬件后端，对所述内部模型结构进行拆分之前，还包括：

对所述内部模型结构进行与硬件后端相关的模型变换操作和模型优化操作。

5.根据权利要求4所述的方法，其特征在于，对所述内部模型结构进行与硬件后端相关的模型变换操作，包括：

对所述内部模型结构进行与预设优先级最高的硬件后端相关的模型变换操作。

6.根据权利要求4所述的方法，其特征在于，对所述内部模型结构进行与硬件后端相关的模型变换操作和模型优化操作之前，还包括：

对所述内部模型结构进行与硬件后端无关的模型优化操作。

7.根据权利要求2所述的方法，其特征在于，所述对所述子模型进行与所述目标硬件后端相关的模型变换操作，得到部署到所述目标硬件后端的离线子模型，包括：

对所述子模型进行与所述目标硬件后端相关的模型变换操作，得到第一状态的子模型；

对所述第一状态的子模型进行格式转换，得到第二状态的子模型，其中，所述第二状态的子模型适应于所述目标硬件后端的输入格式；

将所述第二状态的子模型部署到所述目标硬件后端，得到所述离线子模型。

8.根据权利要求2-7中任意一项所述的方法，其特征在于，将所述多个离线子模型下发对应的硬件设备，包括：

通过模型解释器读取所述离线模型的多个所述离线子模型以及多个所述离线子模型间的所述串联关系；

将各个所述离线子模型分别下发到对应的硬件设备，其中，所述模型解释器根据多个所述离线子模型间的所述串联关系，在所述硬件设备运行时串联多个所述离线子模型。

9.根据权利要求1-8中任意一项所述的方法，其特征在于，所述硬件后端包括：使用硬件厂商推理库的硬件后端、使用硬件厂商算子库的硬件后端或使用非硬件厂商提供的算子的硬件后端。

10.一种神经网络模型部署装置，其特征在于，应用于电子设备，包括：

获取模块，用于获取待部署的神经网络模型；

编译模块，用于对所述神经网络模型进行编译，得到编译后的离线模型，所述离线模型包括多个离线子模型，每个所述离线子模型部署到对应的硬件后端，各种硬件后端分别对应于将神经网络模型部署至硬件设备的不同工具链，每个硬件设备对应于至少一个硬件后端；

运行模块，用于将所述多个离线子模型下发至对应的硬件设备。