[发明专利]适用于神经网络的高效矩阵格式

说明书

本发明公开了一种适用于神经网络的高效矩阵格式。具体地，许多计算系统处理以矩阵格式组织的数据。例如，人工神经网络使用常规的矩阵算术运算对组织成矩阵的数据执行大量计算。一个这种运算就是转置运算。介绍了以压缩格式存储矩阵的技术，例如，其允许在解压缩期间执行转置运算。因此，通过利用所介绍的技术，可以以更有效的方式实现压缩矩阵的变换(例如，转置)。还可以使用并行处理来更有效地进行压缩和/或解压缩。

技术领域

该技术涉及数据集的压缩和解压缩，以用于紧凑存储和通信，更具体地涉及压缩稀疏矩阵数据，以便随后以转置和/或非转置形式进行解压缩。该技术还涉及稀疏矩阵数据的压缩和解压缩，以用于例如深度学习、机器学习和人工智能系统等。该技术还涉及在深度神经网络(DNN)中生成、存储和/或使用压缩的和解压缩的稀疏矩阵数据的图形处理单元(GPU)。

背景技术

大规模并行处理系统，诸如GPU(图形处理单元)，包括许多高性能处理单元，这些处理单元可以同时并行执行算术运算。大量的并行处理单元使其非常适合并行处理大型数据集。这些系统虽然可以使用并行处理加快处理大型数据集，但是对大型数据集执行计算的巨大成本是内存延迟和带宽。

数据压缩可以用来减少内存延迟和传输延迟。数据压缩器减小了用于存储和/或通信的数据大小。数据解压器可用于恢复数据以供进一步处理和用于其他用途。数据压缩可以是有损的，也可以是无损的。有损编码方法使用不精确的近似和/或去除不想要或不需要的数据。MP3音频、H.265视频和JPEG图像就是有损编码的例子。这种压缩技术消除了对人类感知没有太大影响的更详细的信息(例如，考虑一下更长的故事的“删节版”)，因此数据可以存储在减小的内存空间中，并在更小的带宽下更快地传输。相反，无损编码方法将数据压缩成一种格式，从这种格式可以恢复所有原始数据，而不会丢失信息。无损(“无删节”)编码通常用于数据表示文本或数学属性的应用中，每个细节都有不同。无损压缩可以使用多种不同的技术用于在更小的空间中表示相同数量的数据。

一种类型的常用大型数据集是所谓的“稀疏矩阵”，其可以从无损压缩中获益。稀疏矩阵广泛用于许多应用中，诸如机器学习、人工智能和深度神经网络等。基本上，当一个矩阵包含许多零值时(例如，零值比非零值多得多)，它就是“稀疏的”。由于稀疏矩阵包含相对较少的非零值，因此稀疏矩阵是数据压缩的天然候选。

为了有效地存储和处理稀疏矩阵，可以使用只存储非零项的压缩数据结构(存储格式)。已经提出了各种压缩存储格式：

·坐标(COO)格式将行索引和列索引以及所有非零项的值明确地分别存储在行数组、列数组和数据数组中。

·压缩稀疏行(CSR)格式保留了与COO相同的列数组和数据数组，但将行索引压缩为指针元素，该指针元素是列/数据中所有行的起始位置。

·对角线(DIA)格式沿对角线方向(从左上角到右下角)存储非零。数组偏移量记录每个对角线相对于主对角线的偏移量。

参见例如赵等人的“桥接深度学习和稀疏矩阵格式选择之间的差距(Bridgingthe Gap between Deep Learning and Sparse Matrix Format Selection)”，奥地利维也纳2018年2月24-28日的第18届PPoPP会议(ACM2018)；在 Math Kernel Librarysoftware.intel.com/en-us/mkl-developer-reference-c-sparse-blas-diagonal-matrix-storage-format上的“稀疏BLAS对角矩阵存储格式(Sparse BLAS Diagonal MatrixStorage Format)”。