[发明专利]用于转换到较低精度数据格式的自动方法

说明书

本发明的各方面涉及用于执行数据压缩以及在不同程度精度的数据格式之间执行数据转换的计算机实现的技术，并且更具体地，用于使用降低精度的(例如，INT8)数据格式来改进人工神经网络的推理(应用)的计算机实现的技术。本发明的实施方案生成数据输出的候选转换，然后采用相对的质量量度来识别具有最大准确度(例如，与原始较高精度的值具有最小散度)的候选转换。然后，可以在推理过程中使用所述表示法来对所得的输出数据执行计算。

优先权要求

本发明要求2017年1月20日提交的标题为“Automated Method for Conversionto a Lower Precision Data Format”的临时专利申请序列号62/448,909的优先权，其代理人案号为NVID-P-SC-16-0263-US0，该临时专利申请也以引用的方式并入本文中。

技术领域

本发明的实施方案总体涉及用于数据压缩和信息重新编码的计算机实现的技术。更确切地说，本发明的实施方案涉及一种用于改进深度学习神经和卷积网络的推理的系统。

背景技术

机器学习是计算机科学领域，涉及使用计算机实现的算法通过数据集的模式识别和自适应处理来解决问题。与常规“静态”编程相反，机器学习应用的特点是能够通过迭代地从数据集中提炼模型而不需要明确的编程来生成预测数据模型。人工神经网络是最流行的机器学习算法之一，并且使用分布式并行处理器在贯穿输入层与输出层之间的一个或多个内部或“隐藏”层中分布的多个互连“神经元”(处理单元)处对输入数据进行参数化计算，以便计算与目标或参考输出进行比较的输出。人工神经网络通过分配给相邻层的神经元之间的连接的权重来进行参数化。网络的参数不断地更新，以减少并最终消除输出的差异，直到获得准确的数据模型。“深度”神经网络是指由3个或更多个层组成的神经网络。

一种流行的人工神经网络训练方法被称为向后传播(或反向传播)。从预定的(通常是随机的)权重集合开始，通过重复应用包括向前通过、随后是梯度向后传播(“反向传播”)阶段连同优化阶段的两阶段操作循环来提炼权重。在向前传播阶段期间，通过神经网络向前传播输入，其中在每个神经元处逐层执行计算，直到所述输入到达输出层。也可以在一个或多个神经元处应用非线性激活函数，以便进一步将输出引导至离散值。然后使用损失函数将输出与目标输出进行比较，并且针对输出层中的每个元素计算误差值。在反向传播阶段期间，计算误差函数梯度，并且然后将所述误差函数梯度向后传播穿过所述层以确定与每个神经元相对应的梯度。然后，使用这些梯度来计算关于网络中的每个权重的损失函数的梯度。在最后阶段，使用所计算的梯度来更新所应用的权重，以试图最小化损失函数。一旦实际输出基本上接近目标输出(例如，在准确度阈值内)，就认为数据模型完成并且可以终止进一步的学习。

神经网络训练完成之后，可以在现场部署网络以进行“推理”，在此期间输入数据按照网络的输出进行分类，以“推断出”结果。神经网络训练(诸如反向传播)的传统计算机实现方式在执行数据计算时通常使用实数的32位浮点(又名单精度浮点数或FP32)表示法来进行数据存储和操纵。自然地，对这些模型执行的推理也使用FP32表示法。然而，32位值的存储器存储和计算需要大量的存储器和处理资源。因此，已经开发出替代地依赖于降低精度格式的新技术。代替完整的32位，这些解决方案可以替代地使用16位浮点(float16)表示法或8位整数(INT8)表示法。

使用降低数据精度的格式来推断神经网络(确切地卷积网络)提供了胜过传统的单精度浮点格式的若干优点。确切地说，对于神经网络中的计算密集型层，这些较低格式的计算可以(可能)比单精度浮点显著更快地执行。存储降低数据精度的值需要显著较少的存储器。由于减少了传输数据所需的时间，因此以降低数据精度的格式存储数据也提高了带宽受限的层的性能。最后，使用降低数据精度的格式进行存储还允许减小网络的大小以及多处理器(例如，多GPU)系统进行通信所需的时间。