[发明专利]浮点加法器的交错流水线

说明书

本申请公开了浮点加法器的交错流水线。所公开实施例涉及浮点(FP)加法器的交错流水线。在一个示例中，处理器用于执行指令，该指令指定操作码并指定M乘K的第一源矩阵、K乘N的第二源矩阵、和M乘N的目的地矩阵的位置，该操作码指示执行电路用于针对目的地矩阵的每个FP元素(M,N)启动流水线的K个实例，该流水线的K个实例具有：第一乘法级，在第一乘法级期间将第一源矩阵的FP元素(M,K)与第二源矩阵的对应FP元素(K,N)相乘；并发地，在指数差级中，确定乘积与目的地矩阵的元素(M,N)的前一FP值之间的指数差；以及在第二加法‑旁路级中，将乘积与前一FP值累加并且并发地将累加和旁路到后续流水线实例。

技术领域

技术领域总体上涉及计算机处理器架构，并且更具体地涉及用于执行浮点加法器的交错流水线的系统和方法。

背景技术

在诸如机器学习和其他批量数据处理之类的许多计算任务中，矩阵正变得日益重要。深度学习是一类机器学习算法。诸如深度神经网络的深度学习架构已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计的领域。

用于深度学习的两种工具推理和训练正趋向于低精度算术。使深度学习算法和计算的吞吐量最大化可以辅助满足深度学习处理器的需求，深度学习处理器例如在数据中心中执行深度学习的那些处理器。

矩阵-矩阵乘法(也称为GEMM或通用矩阵乘法)是在当今处理器上的常见的重计算操作。用于矩阵乘法(例如，GEMM)的特殊硬件是用于改善诸如深度学习之类的某些应用的峰值计算(和能效)的好的选项。只要输出元素具有足够的位(即，多于输入)，这些应用中的一些，包括深度学习，就可以对具有相对少的位的输入数据元素进行操作而不损失准确度。

在机器学习的上下文中执行的常见操作是矩阵(片)浮点融合乘法-累加(FMA)指令，无论是单精度还是双精度的。期望改善FMA指令的功率和性能以改善使用那些指令的应用的功率和性能，包括机器学习训练和推理应用。

附图说明

在所附附图中以示例方式而非限制方式来图示本发明，在附图中，类似的附图标记指示类似的要素，其中：

图1A图示经配置的片的实施例；

图1B图示经配置的片的实施例；

图2图示矩阵存储的若干示例；

图3图示利用矩阵(片)操作加速器的系统的实施例；

图4和图5示出如何使用矩阵操作加速器来共享存储器的不同实施例；

图6图示使用片的矩阵乘法累加操作(“TMMA”)的实施例；

图7图示链式融合乘法累加指令的迭代的执行的子集的实施例；

图8图示链式融合乘法累加指令的迭代的执行的子集的实施例；

图9图示链式融合乘法累加指令的迭代的执行的子集的实施例；

图10图示链式融合乘法累加指令的迭代的执行的子集的实施例；

图11图示根据实施例的尺寸为2的幂的SIMD实现方式，其中，累加器使用比至乘法器的输入的尺寸大的输入尺寸；

图12图示利用矩阵操作电路的系统的实施例；

图13图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作；

图14图示处理器核流水线的实施例，该处理器核流水线支持使用片的矩阵操作；

图15图示按行为主格式和列为主格式表达的矩阵的示例；

图16图示矩阵(片)的使用的示例；

图17图示矩阵(片)的使用的方法的实施例；