[发明专利]基于人工智能设备的分层稀疏张量压缩方法

说明书

基于人工智能设备的分层稀疏张量压缩方法，在DRAM中，不仅保存神经元表面的存储空间，还为掩码块加上一个元曲面。读取数据时，首先会读取掩码，然后计算非零数据的大小，并且只读取这些非零数据以节省DRAM带宽。而在高速缓存中，只会存储非零数据，因此所需的存储空间被减少。当处理数据时，只使用非零数据。该方法使用位元掩码来确定数据是否为零，层级压缩方案中有三层：瓦片、线和点，从DRAM读取位掩码和非零数据，通过不读取零数据来节省带宽。处理数据时，若它们的位元掩码为零，能轻松地移除瓦片数据。本发明有助于减少内存带宽和内部缓存中的存储空间，与竞争对手相比，可以获得更高的性能和功效。

技术领域

本发明属于人工智能领域，具体涉及一种基于图形的数据的分层稀疏张量压缩方法。

背景技术

人工智能(AI)处理是近来的热门话题，它既是计算和内存密集型，也要求高性能-功耗效率。使用CPU和GPU等当前设备加速并不容易，许多如GPU+TensorCore、TPU、CPU+FPGA和AI ASIC等解决方案都试图解决这些问题。GPU+TensorCore主要着眼于解决计算密集问题，TPU着眼于计算和数据重用，CPU+FPGA/AI ASIC注重提高性能-功耗效率。

在人工智能处理中，由于神经元激活和权重剪枝，许多数据是零。为了使用这些稀疏性，需要发明一种压缩方法，能通过跳过零神经元或卷积权重来节省计算量和功耗，减少所需的缓存存储空间，并通过不传输零数据来增加DRAM带宽。

当前虽然有许多类似的解决方案，但是他们只使用单层压缩方案，而这个不具有明显的优势。通过具有两层或更多层的位元掩码，如果高级掩码为0，我们可以轻松地移除高级别的数据，这意味着该分支中的全部为零，但是传统的单层掩码压缩不能够获得此结果。

发明内容

本发明针对现有技术中的不足，提供一种基于图形的数据的分层稀疏张量压缩方法。该方法使用基于瓦片的分层压缩方案，可以很容易地知道哪个瓦片具有所有的零，以将其从管道中移除，这可以消除许多不必要的数据移动并节省时间和功耗。

为实现上述目的，本发明采用以下技术方案：

一种基于人工智能设备的分层稀疏张量压缩方法，其特征在于：

硬件架构包括：主机、前叶引擎、顶叶引擎、渲染器引擎、枕形引擎、颞叶引擎和内存；前叶引擎从主机得到5D张量，将其分为若干组张量，并将这些组张量发送至顶叶引擎；顶叶引擎获取组张量并将其分成若干张量波，顶叶引擎将这些张量波发送到渲染器引擎，以执行输入特征渲染器，并将部分张量输出到枕形引擎；枕形引擎积累部分张量，并执行输出特征渲染器，以获得发送到颞叶引擎的最终张量；颞叶引擎进行数据压缩，并将最终张量写入内存中；

硬件架构中设有分层缓存设计：颞叶引擎中设有L3缓存，颞叶引擎连接到DRAM内存控制器以从DRAM内存中获取数据；顶叶引擎中设有一个L2缓存和一个在神经元块中的L1缓存；

在DRAM内存中，不仅保存神经元表面的存储空间，并为掩码块加上一个元曲面；读取数据时，首先读取掩码，然后计算非零数据的大小，并且只读取非零数据；在高速缓存中，只存储非零数据；处理数据时，只使用非零数据。

为优化上述技术方案，采取的具体措施还包括：

该压缩方法中，数据逐块存储在DRAM中，每个块具有相同的内存大小，块中的非零行被打包并移动到块的开始部分，块中的所有其他数据都是无用的。

当数据传输到L3缓存时，只有非零的数据会被读取并存储在L3缓存中；位掩码的元曲面也存储在DRAM中，并在数据之前读取，在颞叶引擎中计算效果数据长度以进行数据读取；当L3缓存向L2缓存发送数据时，解压超级瓦片并将压缩后的瓦片数据发送到L2缓存。