[发明专利]多精度神经网络模型实现方法及系统

权利要求书

1.一种多精度神经网络模型实现方法，其特征在于，包括：

生成步骤：获取硬件加速器的算子约束条件，生成多精度神经网络模型的计算图算子配置信息；

对应关系确认步骤：对多精度神经网络模型进行结构分析，结合所述计算图算子配置信息得到不同数值精度与计算图算子的对应关系；

调整步骤：根据不同数值精度与计算图算子的对应关系，对多精度神经网络模型的参数进行调整，获取多精度神经网络模型在降低数值精度后的性能补偿；

配置生成步骤：根据参数调整后的多精度神经网络模型，产生各层次配置信息，根据各层次配置信息将多精度神经网络模型部署到所述硬件加速器；

所述生成步骤包括：

根据所述硬件加速器的算子数值精度约束条件，生成多精度神经网络模型计算图算子配置信息。

2.根据权利要求1所述的多精度神经网络模型实现方法，其特征在于，所述对应关系确认步骤包括：

对多精度神经网络模型进行结构分析，生成多精度神经网络模型的结构信息；

根据所述计算图算子配置信息和所述结构信息，生成计算图算子与数值精度的对应关系。

3.根据权利要求1所述的多精度神经网络模型实现方法，其特征在于，对多精度神经网络模型的参数进行调整的方法包括：重新训练方式或统计分析方式；

对于重新训练方式，根据计算图算子与算子数值精度对应关系增加训练节点到计算图中，所述计算图包括框架构建，所述训练节点包括采用算子构建；

对于统计分析方式，根据计算图算子与算子数值精度对应关系增加统计节点到计算图中，所述统计节点包括采用统计量构建；或者，不增加统计节点到计算图中，直接采用独立于计算图的分析。

4.根据权利要求1所述的多精度神经网络模型实现方法，其特征在于，所述配置生成步骤包括：

对调整好模型参数的多精度神经网络模型，格式化生成各层次的配置信息，所述配置信息格式来自于所述硬件加速器的需求。

5.一种多精度神经网络模型实现系统，其特征在于，包括：

生成模块：获取硬件加速器的算子约束条件，生成多精度神经网络模型的计算图算子配置信息；

对应关系确认模块：对多精度神经网络模型进行结构分析，结合所述计算图算子配置信息得到不同数值精度与计算图算子的对应关系；

调整模块：根据不同数值精度与计算图算子的对应关系，对多精度神经网络模型的参数进行调整，获取多精度神经网络模型在降低数值精度后的性能补偿；

配置生成模块：根据参数调整后的多精度神经网络模型，产生各层次配置信息，根据各层次配置信息将多精度神经网络模型部署到所述硬件加速器；

所述生成模块包括：

根据所述硬件加速器的算子数值精度约束条件，生成多精度神经网络模型计算图算子配置信息。

6.根据权利要求5所述的多精度神经网络模型实现系统，其特征在于，所述对应关系确认模块包括：

对多精度神经网络模型进行结构分析，生成多精度神经网络模型的结构信息；

根据所述计算图算子配置信息和所述结构信息，生成计算图算子与数值精度的对应关系。

7.根据权利要求5所述的多精度神经网络模型实现系统，其特征在于，对多精度神经网络模型的参数进行调整的方法包括：重新训练方式或统计分析方式；

对于重新训练方式，根据计算图算子与算子数值精度对应关系增加训练节点到计算图中，所述计算图包括框架构建，所述训练节点包括采用算子构建；

对于统计分析方式，根据计算图算子与算子数值精度对应关系增加统计节点到计算图中，所述统计节点包括采用统计量构建；或者，不增加统计节点到计算图中，直接采用独立于计算图的分析。

8.根据权利要求5所述的多精度神经网络模型实现系统，其特征在于，所述配置生成模块包括：

对调整好模型参数的多精度神经网络模型，格式化生成各层次的配置信息，所述配置信息格式来自于所述硬件加速器的需求。