[发明专利]实现用于具有写到读依赖关系的稀疏线性代数运算的增强的并行性的微架构

说明书

公开了用于实现用于具有写到读依赖关系的稀疏线性代数运算的增强的并行性的技术。硬件处理器包括多个处理元件、存储器和仲裁器，该存储器高度区块化为多个区块。所述仲裁器用于从在寻求执行涉及所述存储器的操作的多个处理元件处执行的线程接收请求，并且维护对应于多个区块的多个锁缓冲器。锁缓冲器中的每一个能够跟踪对应区块中的将被视为被锁定的多达多个存储器地址，存储器地址被锁定体现在存储在那些存储器处的值不能够由线程中先前未使所述存储器地址被锁定的那些线程更新，直到那些存储器地址已被移除而不由多个锁缓冲器跟踪为止。

技术领域

本公开总体上涉及电子学，更具体地，实施例涉及实现用于具有写到读 (write-to-read)依赖关系的稀疏线性代数运算的增强的并行性的微架构设计和 使用。

背景技术

机器学习领域可认为是对以下技术的研究：使计算机在没有被显式编程的 情况下采取动作以执行特定任务，并且还随着时间的推移使这些计算机变得更 擅长做这些任务。仅在几年时间里，不断进展的机器学习领域已用于不断增加 数量的实际应用，从而产生各种技术，诸如，无人驾驶汽车、改进的互联网搜 索引擎、语音、音频和/或视觉识别系统、人类健康数据和基因组分析、推荐系 统、欺诈检测系统等。

正由人类和非人类两者产生的数据量和类型的增长以及计算处理和数据 存储的可用性和功率的增加已因此导致各种人对应用机器学习技术的兴趣的 激增。

许多机器学习算法以及其他现代的计算应用依赖于线性代数的使用。例 如，许多机器学习算法使用分类器或回归器，并且通过使由初期分类器计算的 值与来自训练数据的实际值之间的误差最小化来训练该分类器或回归器。这可 通过以迭代方式或使用线性代数技术来完成，线性代数技术通常涉及奇异值分 解(SVD)或其变体。

许多近期的机器学习应用涉及(典型地，以稀疏矩阵形式)对稀疏数据集 的使用。稀疏矩阵是这样的矩阵：在其中，该矩阵中的元素中的许多或大部分 具有默认值(例如，0，空值(NULL))。例如，用于对文档分类的一些机器 学习应用可利用矩阵，该矩阵包括用于在这些文档中使用的文字的维度(或矩 阵中的“列”)；由此，特定的文档可包括总文字量中的仅少量文字，因此，用 于此文档的矩阵内的条目(或“行”)可具有大量“空”元素。此类稀疏矩阵通常 以压缩或替代表示形式来表示，这些压缩或替代表示形式可使用许多不同的精确格式和数据结构，但是这些典型地都尝试消除对非零元素的存储(即，它们 仅存储非零条目)。两个此类示例包括压缩稀疏行(CRS)和压缩稀疏列(CSC)。

然而，线性代数运算(尤其是稀疏线性代数运算)在现代计算系统中很难 并行化，这至少部分地由于跨迭代(例如，在矩阵中更新值的循环)的潜在的 写到读依赖关系。

用于执行稀疏线性代数运算的当前方式要么使用锁定技术，要么使用近似 无锁实现方式。锁定继续产生与顺序部分相同的解，并且权衡锁定开销以得到 更大的并行性。然而，作为锁定开销的结果，先前方式已显示性能并不缩放超 过2-4个核，并且甚至直到4个核也不产生接近线性性能缩放的任何结果。

第二种方式(涉及使用近似无锁实现方式)确实更接近线性性能缩放，但 是由于在根本上寻找近似而无法实现最佳解。此外，输出偏差对于具有幂律分 布的数据集(其中，一些特征比另一些特征更常见)可能是尤其高的，这导致 错误更新的更大几率。

因此，迫切需要为具有写到读依赖关系的稀疏线性代数运算提供增强的并 行性的技术。

附图说明

通过参考用于说明一些实施例的以下描述和所附附图，可最佳地理解本发 明。在附图中：

图1是示出根据一些实施例的用于实现用于具有写到读依赖关系的稀疏 线性代数运算的增强的并行性的硬件处理器的高层级微架构的框图。

图2是示出根据一些实施例的存储器地址的框图，这些存储器地址由仲裁 器的锁缓冲器跟踪，该仲裁器控制对存储器的区块的访问。