[发明专利]基于人工智能设备的分层稀疏张量压缩方法

权利要求书

1.一种基于人工智能设备的分层稀疏张量压缩方法，其特征在于：

硬件架构包括：主机、前叶引擎、顶叶引擎、渲染器引擎、枕形引擎、颞叶引擎和内存；前叶引擎从主机得到5D张量，将其分为若干组张量，并将这些组张量发送至顶叶引擎；顶叶引擎获取组张量并将其分成若干张量波，顶叶引擎将这些张量波发送到渲染器引擎，以执行输入特征渲染器以得到部分张量，并将部分张量输出到枕形引擎；枕形引擎积累部分张量，并执行输出特征渲染器，以获得发送到颞叶引擎的最终张量；颞叶引擎对最终张量进行数据压缩，得到压缩后的最终张量，并将最终张量写入内存中；

硬件架构中设有分层缓存设计：颞叶引擎中设有L3缓存，颞叶引擎连接到DRAM内存控制器以从DRAM内存中获取数据；顶叶引擎中设有一个L2缓存和一个在神经元块中的L1缓存；

在DRAM内存中，不仅保存神经元表面的存储空间，并为掩码块加上一个元曲面；读取数据时，首先读取掩码，然后计算非零数据的大小，并且只读取非零数据；在高速缓存中，只存储非零数据；处理数据时，只使用非零数据。

2.如权利要求1所述的一种基于人工智能设备的分层稀疏张量压缩方法，其特征在于：该压缩方法中，数据逐块存储在DRAM中，每个块具有相同的内存大小，块中的非零行被打包并移动到块的开始部分，块中的所有其他数据都是无用的。

3.如权利要求2所述的一种基于人工智能设备的分层稀疏张量压缩方法，其特征在于：当数据传输到L3缓存时，只有非零的数据会被读取并存储在L3缓存中；位掩码的元曲面也存储在DRAM中，并在数据之前读取，在颞叶引擎中计算有效数据长度以进行数据读取；当L3缓存向L2缓存发送数据时，解压超级瓦片并将重新压缩后的瓦片数据发送到L2缓存。

4.如权利要求3所述的一种基于人工智能设备的分层稀疏张量压缩方法，其特征在于：在L2缓存中，数据以瓦片压缩格式进行存储，数据被解压、重组、重新压缩并发送到L1缓存，这些经过压缩的数据被读取并发送到计算机核心，带有位置的未压缩数据存储在寄存器文件中进行处理。

5.如权利要求4所述的一种基于人工智能设备的分层稀疏张量压缩方法，其特征在于：当枕形引擎得到输出结果时，数据被压缩，位掩码和非零数据被发送到颞叶引擎，颞叶引擎进一步压缩数据并将数据发送至DRAM。