[发明专利]使用减小的位宽向量的块浮点计算

说明书

一种用于神经网络中的块浮点计算的系统，该系统接收包括尾数部分的块浮点数。块浮点数的位宽通过将块浮点数分解为多个数而被减小，多个数中的每个数具有其位宽小于块浮点数的尾数部分的位宽的尾数部分。一个或多个点积运算被分离地对多个数中的每个数执行，以获得单独的结果，单独的结果被求和以生成最终的点积值。最终的点积值被用于实现神经网络。减小的位宽计算允许高精度数学运算以提高的准确度在低精度处理器上被执行。

背景技术

块浮点数字格式允许独立地将动态范围和精度缩放。通过降低精度，处理器(诸如，硬件加速器)的系统性能可以被提高。然而，降低的精度可能影响系统准确度。例如，块浮点数字格式可以被用于可以在针对任务的许多应用领域(诸如，计算机视觉、机器人、语音识别、医学图像处理、计算机游戏、增强现实、虚拟现实等)中被实现的神经网络。虽然降低的精度可以提高神经网络的不同功能的性能(包括针对对象识别、唇读、语音识别、检测异常交易、文本预测的分类和回归任务以及许多其他的分类和回归任务被执行的速度)，但是准确度可能受到不利影响。

发明内容

本发明内容是为了按照简化形式来介绍对构思的选择而被提供的，下面在具体实施方式中进一步描述了这些构思。本发明内容不旨在标识所要求保护的主题的关键特征或者必要特征，也不旨在被用于帮助确定所要求保护的主题的范围。

一种用于在神经网络中的块浮点计算的计算机化的方法包括：接收包括尾数的块浮点向量；以及将块浮点向量中的每个块浮点向量分解为具有减小的位宽(reduced bit-width)尾数的多个块浮点向量。该方法还包括：对具有减小的位宽尾数的多个块浮点向量执行点积运算；以及使用执行点积运算的结果来实现神经网络。

许多伴随的特征将更容易被了解，因为通过参考结合附图所考虑的以下详细描述，这些特征变得更好理解。

附图说明

通过根据附图来阅读以下详细描述，本说明书将被更好地理解，在附图中：

图1是图示了根据实施例的块浮点格式的示例性框图；

图2图示了根据实施例的分解块浮点向量。

图3是图示了根据实施例的数据处理系统的示例性框图；

图4是根据实施例的神经网络系统的示例性示意框图；

图5图示了根据实施例的对减小的位宽数执行的点积计算；

图6是图示了根据各种实施例的用于执行减小的位宽尾数块浮点计算的计算设备的操作的示例性流程图；

图7是图示了根据各种实施例的用于执行减小的位宽尾数块浮点计算的计算设备的操作的另一示例性流程图；以及

图8将根据实施例的计算装置图示为功能框图。

贯穿附图，对应的附图标记指示对应的部分。在附图中，系统被图示为示意图。附图可能未按比例绘制。

具体实施方式

本文所描述的计算设备和方法被配置为使用减小的位宽向量来执行块浮点计算。例如，块浮点向量被分解为多个较小位宽块浮点向量，以对其执行操作。此后，较高位宽块浮点向量通过组合对较小位宽块浮点向量所执行的操作的结果而被构造。块浮点数的这种精确融合通过允许高精度数学运算利用低精度硬件(例如，低精度硬件加速器)被执行而减少了计算负担，同时提高了准确度。

根据本公开的各种示例，神经网络(诸如，深度神经网络(DNN))可以使用较小位宽块浮点向量被更有效地训练和操作，该较小位宽块浮点向量允许在低精度块浮点计算引擎上的高精度算术。例如，在使用块浮点而实现的神经网络中，本公开允许选择性地增加某些层的精度，从而以最小的性能影响来提高整体的网络准确度。应该注意，本文所描述的各种示例可以被应用于针对神经网络中的一些或者所有层的权重和/或激活而执行的计算。即，本公开可以在训练和/或操作神经网络时被实现。