[发明专利]有损稀疏加载SIMD指令族

说明书

公开了用于实现有损稀疏加载单指令多数据(SIMD)指令族的系统、设备和方法。有损稀疏加载单元(LSLU)加载来自一个或多个输入向量操作数的多个值，并且确定在给定指令的一个或多个输入向量操作数中包括多少非零值。如果所述一个或多个输入向量操作数具有小于阈值数量的非零值，则所述LSLU致使跳过用于处理所述一个或多个输入向量操作数的指令。在这种情况下，所述指令的所述一个或多个输入向量操作数的所述处理被认为是冗余的。如果所述一个或多个输入向量操作数具有大于或等于所述阈值数量的非零值，则所述LSLU致使执行用于处理所述一个或多个输入向量操作数的指令。

背景技术

相关技术的描述

一种新兴技术领域是机器学习，其中神经网络是一种类型的机器学习模型。神经网络在诸如手写数字分类和面部检测的任务方面已经表现出优异的性能。另外，神经网络还已经显示出在其他的更具挑战性的视觉分类任务方面表现良好的潜力。神经网络的其他应用包括语音识别、语言建模、情感分析、文本预测等。

众所周知，深度神经网络(DNN)在其不同的数据结构中表现出稀疏性或零值。例如，ResNet-50和AlexNet中的激活分别表现出58％和55％的平均稀疏性，而DeepCompression AlexNet中的权重在推断阶段期间表现出65％的稀疏性。DNN数据结构中的零值会导致所得的乘加(MAD)运算(可能是乘累加(MAC)运算的一部分)不必要且效率低下。这导致典型的硬件平台上的DNN的实现方式效率低下。

附图说明

通过结合附图参考以下描述，可以更好地理解本文所描述的方法和机制的优点，在附图中：

图1是计算系统的一个实现方式的框图。

图2是计算系统的另一个实现方式的框图。

图3是计算单元逻辑的一个实现方式的框图。

图4是示出用于执行向量有损组合稀疏加载指令的方法的一个实现方式的一般化流程图。

图5是示出用于执行向量有损单个稀疏加载指令的方法的一个实现方式的一般化流程图。

图6是示出用于处理累加非零计数阵列的方法的一个实现方式的一般化流程图。

图7是示出用于执行向量有损稀疏加载和跳过指令的方法的一个实现方式的一般化流程图。

图8是示出用于执行有损的稀疏加载指令的方法的一个实现方式的一般化流程图。

图9是示出用于实现神经网络的方法的一个实现方式的一般化流程图。

图10示出了根据一个实现方式的用于实现内积和外积矩阵乘法运算的伪代码的示例。

图11示出了根据一个实现方式的用于实现向量有损组合稀疏加载指令的伪代码的示例。

图12是用于实现向量有损组合稀疏加载指令的逻辑的一个实现方式的框图。

图13示出了根据一个实现方式的用于实现向量有损单个稀疏加载指令的伪代码的示例。

图14示出了根据一个实现方式的用于实现向量有损稀疏加载和跳过指令的伪代码的示例。

具体实施方式

在以下描述中，阐述了许多具体细节以提供对本文所提出的方法和机制的全面理解。然而，本领域普通技术人员应当认识到，各种实现方式可以在没有这些具体细节的情况下实践。在一些情况下，没有详细示出众所周知的结构、部件、信号、计算机程序指令和技术以避免模糊本文所描述的方法。应当理解，为了说明的简单和清楚起见，图中示出的元件不一定按比例绘制。例如，一些元件的尺寸可以相对于其他元件放大。