[发明专利]一种卷积神经网络计算加速方法及装置、设备、介质

说明书

本申请公开了一种卷积神经网络计算加速方法及装置、设备、介质。该方法至少包括：利用第一函数，对原始的输入张量和卷积核进行量化处理，得到定点数形式的输入张量和卷积核；利用第二函数，计算定点数形式的输入张量和卷积核分别的量化偏移，第一函数和第二函数包含相应的量化缩放系数，以及浮点数转定点数的转换逻辑；根据量化偏移，计算定点数形式的输入张量和卷积核的第一卷积结果；根据量化缩放系数和第一卷积结果，计算原始的输入张量和卷积核的第二卷积结果。本申请利用浮点数转定点数的转换逻辑，以及基于量化偏移的自适应量化处理，有利于提高卷积计算速度，提高算法性能，降低硬件功耗和设计难度。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种卷积神经网络计算加速方法及装置、设备、介质。

背景技术

卷积神经网络在计算机视觉、语音处理、机器学习、图像识别、人脸识别等众多领域取得了巨大的突破，显著地提高了相应的机器算法在图像分类、目标检测和语音识别等多种任务中的性能，并且在互联网、视频监控等行业中得到了广泛应用。

大容量、高复杂度的卷积神经网络能够更全面地对数据进行学习，从而更准确地识别数据，当然，随着网络层数与参数数量的增加，计算和存储代价也会大幅增长。

在现有技术中，使用卷积神经网络处理对数据进行处理时，通常直接使用浮点数进行卷积计算，但是，这种方式计算速度慢，且硬件功耗大。

发明内容

本申请实施例提供一种卷积神经网络计算加速方法及装置、设备、介质，用以解决现有技术中的如下技术问题：使用卷积神经网络处理对数据进行处理时，通常直接使用浮点数进行卷积计算，但是，这种方式计算速度慢，且硬件功耗大。

本申请实施例采用下述技术方案：

一种卷积神经网络计算加速方法，包括：

利用第一函数，对原始的输入张量和卷积核进行量化处理，得到定点数形式的输入张量和卷积核；

利用第二函数，计算所述定点数形式的输入张量和卷积核分别的量化偏移，所述第一函数和所述第二函数包含相应的量化缩放系数，以及浮点数转定点数的转换逻辑；

根据所述量化偏移，计算所述定点数形式的输入张量和卷积核的第一卷积结果；

根据所述量化缩放系数和所述第一卷积结果，计算所述原始的输入张量和卷积核的第二卷积结果。

可选地，所述量化缩放系数包括用于输入张量的第一量化系数，以及用于卷积核的第二量化系数；

所述第一量化系数根据指定的量化值域的最值和所述原始的输入张量的最值计算得到，和/或

所述第二量化系数根据指定的量化值域的最值和所述原始的卷积核的最值计算得到。

可选地，量化值域的最值根据指定的量化位数计算得到。

可选地，所述指定的量化位数为指定的N进制数的量化位数w，按照如下公式计算所述量化值域的最值：

Q_low＝-N^w-1；

Q_high＝N^w-1-1；

其中，Q_low表示所述量化值域的最小值，Q_high表示所述量化值域的最大值。

可选地，所述第一量化系数按照公式计算得到，和/或

所述第二量化系数按照公式计算得到；