[发明专利]基于人工智能设备的分层稀疏张量压缩方法

摘要

基于人工智能设备的分层稀疏张量压缩方法，在DRAM中，不仅保存神经元表面的存储空间，还为掩码块加上一个元曲面。读取数据时，首先会读取掩码，然后计算非零数据的大小，并且只读取这些非零数据以节省DRAM带宽。而在高速缓存中，只会存储非零数据，因此所需的存储空间被减少。当处理数据时，只使用非零数据。该方法使用位元掩码来确定数据是否为零，层级压缩方案中有三层：瓦片、线和点，从DRAM读取位掩码和非零数据，通过不读取零数据来节省带宽。处理数据时，若它们的位元掩码为零，能轻松地移除瓦片数据。本发明有助于减少内存带宽和内部缓存中的存储空间，与竞争对手相比，可以获得更高的性能和功效。

主权项

1.一种基于人工智能设备的分层稀疏张量压缩方法，其特征在于：硬件架构包括：主机、前叶引擎、顶叶引擎、渲染器引擎、枕形引擎、颞叶引擎和内存；前叶引擎从主机得到5D张量，将其分为若干组张量，并将这些组张量发送至顶叶引擎；顶叶引擎获取组张量并将其分成若干张量波，顶叶引擎将这些张量波发送到渲染器引擎，以执行输入特征渲染器，并将部分张量输出到枕形引擎；枕形引擎积累部分张量，并执行输出特征渲染器，以获得发送到颞叶引擎的最终张量；颞叶引擎进行数据压缩，并将最终张量写入内存中；硬件架构中设有分层缓存设计：颞叶引擎中设有L3缓存，颞叶引擎连接到DRAM内存控制器以从DRAM内存中获取数据；顶叶引擎中设有一个L2缓存和一个在神经元块中的L1缓存；在DRAM内存中，不仅保存神经元表面的存储空间，并为掩码块加上一个元曲面；读取数据时，首先读取掩码，然后计算非零数据的大小，并且只读取非零数据；在高速缓存中，只存储非零数据；处理数据时，只使用非零数据。