[发明专利]用于深度学习加速的非常低精度浮点表示

说明书

本公开涉及用于深度学习加速的非常低精度浮点表示。一种专用电路被配置为使用由非常低精度格式(VLP格式)表示的数字进行浮点计算。VLP格式包括少于十六位并且分配为符号位、指数位(e)和尾数位(p)。经配置的专用电路被操作以存储VLP格式的数值的近似，其中该近似被表示为分数的倍数的函数，其中分数是能够仅使用尾数位表示的离散值的数量的倒数。

技术领域

本发明一般而言涉及用于优化在训练神经网络中涉及的计算的方法、系统和计算机程序产品。更具体而言，本发明涉及用于非常低精度浮点表示的方法、系统和计算机程序产品。

背景技术

由于计算机存储器是有限的，因此无论数字是使用二进制分数还是小数分数，都不可能以无限精度存储数字。在一些时候，必须切断或舍入数字以在计算机存储器中表示。

如何在存储器中表示数字取决于期望表示有多大的准确度。一般而言，用二进制位表示数字的单一固定方式不适于使用那些数字的各种应用。物理学家可能在一些应用中一起需要使用表示光速(大约300000000)的数字以及表示牛顿引力常数(大约为0.0000000000667)的数字。

为了满足不同类型的应用及其各自的准确度需求，必须设计通用数字格式，使得该格式可以以非常不同的量值提供数字的准确性。但是，只需要相对准确性。为此，用于表示数字的固定位格式不是很有用。浮点表示解决了这个问题。

浮点表示将给定数字解析为三个主要部分-(i)包含该数字的数位(digit)的有效数字，(ii)设置相对于有效数字的开头放置十进制(或二进制)点的位置的指数。负指数表示非常小(即，接近零)的数字，以及(iii)与数字相关联的符号(正或负)。

浮点单元(FPU)是执行浮点计算的、被实现为硬件电路的处理器或处理器的一部分。虽然早期的FPU是独立的处理器，但现在大多数都集成在计算机的CPU中。现代CPU中的集成FPU非常复杂，因为它们执行高精度浮点计算，同时确保符合管理这些计算的规则，如IEEE浮点标准(IEEE 754)中所阐述的。

深度学习神经网络，也称为深度神经网络(DNN)，是一种类型的神经网络。DNN的配置和训练是计算密集的。在DNN训练过程中，必须在训练的每次迭代或循环中执行许多浮点计算。DNN可以包括数千甚至数百万个节点。DNN训练所需的浮点计算的次数随着DNN中节点的数量呈指数级增长。此外，DNN训练中的不同浮点计算可能必须精确到不同数量的小数位。

机器学习工作负载往往在计算上要求很高。用于流行的深度学习基准的训练算法需要数周时间才能在由多个处理器组成的系统上收敛。可以为浮点计算提供大吞吐量密度的专用加速器，无论是在面积(area)(每平方毫米处理器空间的计算吞吐量)还是功耗(每瓦耗电量的计算吞吐量)方面，都是未来深度学习系统的关键指标。

发明内容

说明性实施例提供了方法、系统和计算机程序产品。实施例包括一种方法，其使用由非常低精度格式(VLP格式)表示的数字来配置用于浮点计算的专用电路，其中该VLP格式包括少于十六位。该实施例进一步配置专用电路以将该VLP格式分配为符号位、指数位(e)和尾数位(p)。该实施例操作进一步配置的专用电路以表示VLP格式的数值的近似，其中该近似被表示为分数的倍数的函数，其中该分数是能够仅使用尾数位表示的离散值的数量的倒数。

实施例包括计算机可用程序产品。该计算机可用程序产品包括计算机可读存储设备，以及存储在存储设备上的程序指令。

实施例包括计算机系统。该计算机系统包括处理器、计算机可读存储器和计算机可读存储设备，以及存储在存储设备上以供处理器经由存储器执行的程序指令。

附图说明

在所附权利要求中阐述了被认为是本发明特点的某些新颖特征。但是，当结合附图阅读时，通过参考说明性实施例的以下详细描述，将最好地理解本发明本身以及优选的使用模式、其进一步的目的和优点，其中：