[发明专利]用于处理非常稀疏和超稀疏矩阵数据的硬件加速器架构

说明书

公开一种用于处理非常稀疏和超稀疏矩阵数据的加速器架构。硬件加速器包括一个或多个片，各包含多个处理元件(PE)和数据管理单元(DMU)。PE要执行涉及由存储器所存储的非常或超稀疏矩阵的矩阵运算。DMU要经由接口(其被优化以提供对存储器的低等待时间、并行随机访问)来提供对存储器的多个PE访问。通过发出对一个或多个矩阵的值的随机访问读请求、发出对用作第二操作数的一个或多个向量的值的随机访问读请求，并且发出对用作结果的一个或多个向量的值的随机访问写请求，PE经由DMU执行矩阵运算。

技术领域

本公开一般涉及电子器件，以及更具体来说，实施例涉及用于处理非常稀疏和超稀疏矩阵数据的硬件加速器架构。

背景技术

仅仅在过去的数年中，来自机器学习的相对新兴领域的算法广泛地应用于许多类型的实际应用，从而产生诸如自动推进的交通工具、改进因特网搜索引擎、语音、音频和/或视觉识别系统、人类健康数据和基因组分析、推荐系统、诈骗检测系统等的技术。这些算法的使用的增长部分通过由人类和非人类所产生的数据量和类型的近来增加来推动。因此，随着可用于分析的增加数据量猛涨，对机器学习的兴趣也猛涨。

在许多不同的上下文中，机器学习算法通常使用大矩阵来实现。此外，这些矩阵的许多矩阵是“稀疏”矩阵，因为它们具有相当数量的“空”或“背景”值—例如零值。例如，社交图表能够建模为矩阵(例如“邻接矩阵”)，其具有与数据集中存在的人同样多的行和列，其中矩阵单元中的元素表示与每对人之间的连接有关的某种信息。

当存储和利用稀疏矩阵时，使用专门算法和数据结构(其能够利用矩阵的稀疏结构)是有用的(并且有时严格来说是必要的)。这是因为，使用规则密集矩阵结构和算法来执行矩阵运算在应用于大的稀疏矩阵时将是相当低效的，因为处理和存储资源因大量零的存在而实际上“被浪费”。因此，稀疏数据能够易于压缩以要求显著小的存储装置，以及具体来说能够实现算法和计算架构来适应（fit in）这些压缩结构。

但是，涉及矩阵操纵的算法(其包含许多机器学习算法)趋向于是计算昂贵的，因为它们能够涉及执行具有庞大数据量的庞大数量的非平凡运算。因此，尽可能有效地实现这些算法是极为重要的，因为任何小低效因计算的大规模而迅速扩大。

相应地，强烈预期能够增强涉及稀疏矩阵数据的这些类型的运算的执行的技术和处理架构。

本发明提供一组技术方案，如下。

1. 一种硬件加速器，包括：

一个或多个片，其中每个片包含：

多个处理元件(PE)，其用来执行涉及由存储器所存储的、作为第一操作数的一个或多个非常或超稀疏矩阵的矩阵运算；以及

数据管理单元(DMU)，其用来提供对所述存储器的所述多个PE访问，所述存储器经由接口用来与所述硬件加速器耦合，所述接口被优化以提供对数据的低等待时间、并行随机访问；

其中所述多个PE经由所述DMU通过下列步骤来执行所述矩阵运算：

在通过发出对指针值的随机访问读请求来识别所述一个或多个矩阵的值的位置之后发出对所述值的随机访问读请求的第一集合；

发出对用作第二操作数的一个或多个向量的第一集合的值的随机访问读请求的第二集合；以及

发出对用作结果的一个或多个向量的第二集合的值的随机访问写请求的第三集合。

2. 如技术方案1所述的硬件加速器，其中，所述DMU包括高速缓存，其用来存储响应于对所述一个或多个矩阵的值的随机访问读请求的所发出的第一集合而返回的数据。

3. 如技术方案1所述的硬件加速器，其中，所述存储器是也被硬件处理器所利用的系统存储器。