[发明专利]量化和计算加速方法和装置

说明书

本发明公开量化和计算加速方法和装置，其中，一种量化和计算加速方法，包括：对数据进行4bit量化，并对量化后的数值进行偏移以消除4bit量化产生的负数；存储量化后的数据时，依据SIMD的最大并行数进行交叉存储。Bias的引入，一方面让我们省去在移位运算时的符号问题，另一方面使得我们的参数区间不再局限在(‑1,1)之间，可以是一个非0为中心的区间中，去除这个假设，给了模型训练更大的自由，可以训出性能更好的模型。交叉存储的数据，空间上节省了内存，data cache上也有优势，一次性load。

技术领域

本发明属于存储技术领域，尤其涉及量化和计算加速方法和装置。

背景技术

相关技术中，目前各家芯片都在做计算和内存的优化，以求提升自研芯片的性能，降低功耗，节约成本，从而提升自研芯片相对于通用芯片的竞争力。

目前主流采用8bit进行量化或者采用binary量化。

其中，8bit量化，可搭载的声学模型相对较小。

Binary量化，还不是很成熟，存在性能下降或者性能不稳定的问题。

发明人在实现本申请的过程中发现，相关技术中存在的这些问题是因为以下原因导致的：为了加速计算，在芯片化系统中，我们通常采用将模型放到SRAM，避免flash到内存的性能损耗。自研芯片因为成本问题,片载内存通常比较小,现在主流的语音芯片的内存都在3M以下，有限的空间导致留给声学神经网络的空间更小，例如有1M空间可以用于神经网络，当weight采用8bit进行量化时，只能够有1M参数，但是如果用4bit进行量化时，参数量可以达到2M。

发明内容

本发明实施例提供一种量化和计算加速方法和装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种量化和计算加速方法，包括：对数据进行4bit量化，并对量化后的数值进行偏移以消除4bit量化产生的负数；存储量化后的数据时，依据SIMD的最大并行数进行交叉存储。

第二方面，本发明实施例提供一种量化和计算加速装置，包括：量化模块，配置为对数据进行4bit量化，并对量化后的数值进行偏移以消除4bit量化产生的负数；以及存储模块，配置为存储量化后的数据时，依据SIMD的最大并行数进行交叉存储。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的量化和计算加速方法的步骤。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的量化和计算加速方法的步骤。

本申请的方法和装置通过偏移(例如后续实施例中的Bias)的引入，一方面让我们省去在移位运算时的符号问题，另一方面使得我们的参数区间不再局限在(-1,1)之间，可以是一个非0为中心的区间中，去除这个假设，给了模型训练更大的自由，可以训出性能更好的模型。进一步的，交叉存储的数据，空间上节省了内存，data cache上也有优势，一次性load。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种量化和计算加速方法的流程图；

图2为本发明一实施例提供的一种量化和计算加速装置的框图；