[发明专利]多精度神经网络模型实现方法及系统

说明书

本发明提供了一种多精度神经网络模型实现方法及系统，包括：获取硬件加速器的算子约束条件，生成多精度神经网络模型的计算图算子配置信息；对多精度神经网络模型进行结构分析，结合计算图算子配置信息得到不同数值精度与计算图算子的对应关系；根据不同数值精度与计算图算子的对应关系，对多精度神经网络模型的参数进行调整，获取多精度神经网络模型在降低数值精度后的性能补偿；根据参数调整后的多精度神经网络模型，产生各层次配置信息，根据各层次配置信息将多精度神经网络模型部署到硬件加速器。本发明在将复杂神经网络部署到特定硬件加速器时，保证算子采用不同的数值精度组合，以获得优化的功耗、效率和存储带宽，降低模型部署难度。

技术领域

本发明涉及计算机技术领域，具体地，涉及一种多精度神经网络模型实现方法及系统。

背景技术

由于复杂任务的神经网络计算复杂度高，在特定硬件加速器上需要进行多精度的数值表示方法，以获得优化的功耗和效率，这一需求为模型部署增加了难度。

现有技术中，公开号为CN110942139A的中国专利申请，公开了“深度学习神经网络部署系统及其方法”，这种部署方法，虽然能够支持多种神经网络框架识别、解析、和部署模型的生成，但是不能支持多种精度模型在特定硬件加速器上的实现。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种多精度神经网络模型实现方法及系统。

根据本发明提供的一种多精度神经网络模型实现方法，包括：

生成步骤：获取硬件加速器的算子约束条件，生成多精度神经网络模型的计算图算子配置信息；

对应关系确认步骤：对多精度神经网络模型进行结构分析，结合所述计算图算子配置信息得到不同数值精度与计算图算子的对应关系；

调整步骤：根据不同数值精度与计算图算子的对应关系，对多精度神经网络模型的参数进行调整，获取多精度神经网络模型在降低数值精度后的性能补偿；

配置生成步骤：根据参数调整后的多精度神经网络模型，产生各层次配置信息，根据各层次配置信息将多精度神经网络模型部署到所述硬件加速器。

优选地，所述生成步骤包括：

根据所述硬件加速器的算子数值精度约束条件，生成多精度神经网络模型计算图算子配置信息。

优选地，所述对应关系确认步骤包括：

对多精度神经网络模型进行结构分析，生成多精度神经网络模型的结构信息；

根据所述计算图算子配置信息和所述结构信息，生成计算图算子与数值精度的对应关系。

优选地，对多精度神经网络模型的参数进行调整的方法包括：重新训练方式或统计分析方式；

对于重新训练方式，根据计算图算子与算子数值精度对应关系增加训练节点到计算图中，所述计算图包括框架构建，所述训练节点包括采用算子构建；

对于统计分析方式，根据计算图算子与算子数值精度对应关系增加统计节点到计算图中，所述统计节点包括采用统计量构建；或者，不增加统计节点到计算图中，直接采用独立于计算图的分析。

优选地，所述配置生成步骤包括：

对调整好模型参数的多精度神经网络模型，格式化生成各层次的配置信息，所述配置信息格式来自于所述硬件加速器的需求。

根据本发明提供的一种多精度神经网络模型实现系统，包括：

生成模块：获取硬件加速器的算子约束条件，生成多精度神经网络模型的计算图算子配置信息；

对应关系确认模块：对多精度神经网络模型进行结构分析，结合所述计算图算子配置信息得到不同数值精度与计算图算子的对应关系；