[发明专利]基于硬件环境的数据量化方法、装置及可读存储介质

说明书

本申请公开了一种基于硬件环境的数据量化方法、装置及计算机可读存储介质。其中，方法包括解析当前深度学习框架下的模型文件得到与硬件环境无关的中间计算图数据和权重数据，并对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；分别按照预先设置的线性量化方法对权重数据和每层特征图数据进行均匀量化，计算得到权重量化因子和特征图量化因子，将权重量化因子和特征图量化因子进行合并，得到使硬件使用移位代替除法的量化参数；最后按照硬件需求将量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据，从而解决了相关技术中为了支持多种深度学习框架导致量化软件包冗余、依赖库冲突的问题。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于硬件环境的数据量化方法、装置及计算机可读存储介质。

背景技术

随着人工智能在各个领域的发展，如农业、金融、安防、健康医疗、制造等，用户对基于人工智能技术的产品的计算速度、精度和功耗有更高的需求。各大硬件产商研发专门针对人工智能算法计算的加速卡及相应配套的量化方案，来加速人工智能算法在日常使用的普及。

AI(Artificial Intelligence，人工智能)加速卡的大规模和并行特点，导致AI加速卡的开发也极具挑战，同时还需要满足量化方案能够使用低精度运算实现类似高精度运算的算法精度。为了满足高精度数据映射到低精度、减少硬件资源开销，需提前对高精度数据进行量化以生成低精度的权重数据和量化参数文件，软件端的量化工具包的开发即满足上述需求。

但是，随着目前深度学习框架种类增多，为AI加速卡适应各种框架下的模型增加了困难，普通的量化工具包为兼容各种框架，需提前安装多种深度学习框架软件，很容易造成主机端软件的冗余和各种依赖库的冲突。

鉴于此，如何解决为了支持多种深度学习框架导致软件包冗余、依赖库冲突的问题，是本领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种基于硬件环境的数据量化方法、装置及计算机可读存储介质，解决了相关技术中为了支持多种深度学习框架导致软件包冗余、依赖库冲突的问题。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种基于硬件环境的数据量化方法，包括：

根据当前深度学习框架下的模型文件解析得到与硬件环境无关的中间计算图数据和权重数据；

基于所述中间计算图数据和所述权重数据，对输入数据集中的图像数据经中间计算图流程计算得到特征图数据；

分别按照预先设置的线性量化方法对所述权重数据和每层特征图数据进行均匀量化，并计算得到权重量化因子和特征图量化因子；

将所述权重量化因子和所述特征图量化因子进行合并，得到量化参数，所述量化参数为使硬件使用移位代替除法的参数；

按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件，生成量化后文件数据。

可选的，所述按照硬件需求将所述量化参数和量化后的权重数据写入至bin文件之前，还包括：

对所述量化参数和量化后的权重数据进行重排序，以使所述量化参数和量化后的权重数据的数据格式为64通道并行格式。

可选的，所述解析得到当前深度学习框架的中间计算图数据和权重数据包括：

利用NNVM编译器中的NNVM组件解析所述模型文件得到所述中间计算图数据；

利用所述NNVM编译器中的TVM组件执行中间计算图的操作运算符并计算得到张量形式的权重数据。

可选的，所述将所述权重量化因子和所述特征图量化因子进行合并为：