[发明专利]加速的量化乘法和加法运算

说明书

本文公开了用于加速如神经网络等应用中的卷积运算或其它矩阵乘法的技术。一种计算机实施的方法包含从存储装置接收用于卷积运算的低精度输入以及从所述低精度输入中减去表示高精度零值的低精度值以生成差值，其中所述低精度输入是从高精度输入非对称量化的。所述方法还包含对所述差值执行乘法和求和运算以生成乘积的总和以及通过利用缩放因子对所述乘积的总和进行缩放来生成高精度输出。

背景技术

人工神经网络是具有基于生物神经网络的架构的计算系统。可以使用训练数据来训练人工神经网络以学习如何执行某个任务，如从图像或视频中识别物理对象、活动、角色等或对其进行分类。如深度神经网络等人工神经网络可以包含多层处理节点。层上的每个处理节点可以对由前一层上的处理节点生成的输入数据执行计算，以生成输出数据。例如，处理节点可以执行一组算术运算如乘法和加法以生成中间输出或对中间输出执行后处理操作以生成最终输出。如深度神经网络等人工神经网络可以包含数千个或更多个处理节点和数百万个或更多个参数。

通常，可以开发、训练神经网络并使其对许多最终用户可用。然后，最终用户可以在更改或不更改现有网络的情况下使用经过训练的神经网络来执行各种任务(这可以被称为推理过程)。当构建神经网络时，当务之急可以是获得工作且准确的网络。因此，在训练期间通常使用浮点数和浮点算术以保护准确性。训练过程可以在具有足够的存储器空间和计算能力的计算系统上执行，并且在许多情况下，可能不需要实时性能并且可以在数小时、数天或数月内执行。然而，可以在如移动装置或嵌入式装置等具有有限的存储器空间和计算能力的许多计算装置上使用经过预先训练的网络来执行推理过程。因此，在许多情况下，对存储大浮点数据的存储器进行存取和/或执行浮点计算(这可能造成高功耗)可能成为推理过程的瓶颈。

附图说明

将参考附图描述根据本公开的各种实施例，在附图中：

图1展示了示例多层人工神经网络；

图2展示了示例卷积神经网络(CNN)；

图3A和3B展示了由卷积神经网络中的卷积层对输入像素阵列执行的卷积运算；

图4A-4E展示了对示例输入像素执行的示例卷积、非线性激活和池化运算；

图5展示了用于示例人工神经网络的示例设备；

图6展示了包含处理元件阵列的简化示例计算引擎；

图7A展示了使用浮点数的示例卷积运算；

图7B展示了使用整数的示例卷积运算；

图8展示了根据某些实施例的使用整数的示例卷积运算；

图9展示了根据某些实施例的用于执行示例卷积运算的简化示例计算引擎；

图10是展示了根据某些实施例的加速人工神经网络中的计算的示例方法的简化流程图；并且

图11展示了根据某些实施例的示例计算装置。

具体实施方式

本文所公开的技术总体上涉及人工神经网络，并且更具体地，涉及加速人工神经网络的量化计算。