[发明专利]用于人工神经网络中比特深度减少的方法和系统

说明书

本发明提供的比特深度优化引擎降低了神经网络的硬件成本。当在训练程序期间将训练数据应用于神经网络时，产生精度成本和硬件成本。硬件复杂度成本生成器为靠近比特深度步阶的权重产生成本，其中比特深度步阶表示权重的二进制位数减少，例如从2^N减到2^N‑1，减少一个二进制比特。为每个权重产生成本梯度，靠近比特深度步阶的权重容易被选中，因为它们有大梯度，而远离比特深度步阶的权重有接近零的梯度。在优化期间减小选中的权重。在多个优化周期后，生成一个低比特深度神经网络，其中每个权重使用较少的二进制位，使得当在专用集成电路(ASIC)上制作低比特深度神经网络时具有较低的硬件成本。

相关申请

本申请要求2016年3月16日提交的，名称为“通过使用硬件成本惩罚深度学习神经网络优化”的美国临时专利申请62/309,239的优先权，通过引用将其并入本申请。

技术领域

本发明涉及神经网络，特别涉及权重大小的优化。

背景技术

对于使用传统计算机程序难以处理的大量复杂数据，人工神经网络特别有用。不是使用指令编程，而是将训练数据输入到神经网络，并与预期输出进行比较，然后在神经网络内进行调整，再次处理训练数据，和输出比较，再进一步调整神经网络。在多次这样的训练周期之后，神经网络被改变成可以有效地处理类似训练数据和预期输出的数据。神经网络是机器学习的一个例子，因为神经网络学习如何生成训练数据的预期输出。然后可以将类似训练数据的实际数据输入到神经网络，以处理实时数据。

图1显示一个现有技术的神经网络。输入节点102、104、106、108接收输入数据I₁、I₂、I₃、...I₄，而输出节点103、105、107、109输出神经网络运算的结果：输出数据O₁、O₂、O₃、...O₄。在这个神经网络中有三层运算。节点110、112、114、116、118中的每一个节点都从一个或多个输入节点102、104、106、108中获取输入，执行一些运算，诸如加、减、乘或更复杂运算，然后发送和输出到第二层的节点。第二层节点120、122、124、126、128、129也接收多个输入，合并这些输入以产生一个输出，并将输出发送到第三层节点132、134、136、138、139，类似地合并输入并产生输出。

每层的输入通常会被加权，因此在每个节点处生成加权总和(或其他加权运算结果)。这些权重可以表示为W₃₁、W₃₂、W₃₂、W₃₃、...W₄₁等，在训练期间权重值可以调整。通过不断地试错或其他训练程序，最终可以将较高的权重分配给产生预期输出的路径，而将较小权重分配给不产生预期输出的路径。机器将学习哪些路径会生成预期输出，并为这些路径上的输入分配高权重。

这些权重可以存储在权重存储器100中。由于许多神经网络都具有多个节点，所以在权重存储器100中存储有多个权重。每个权重需要多个二进制比特来表示该权重的可能值的范围。权重通常需要8到16比特。权重存储器100的大小通常与神经网络的总体大小和复杂性成比例。

深度神经网络具有多层节点，常用于诸如对象分类、语音识别、情感分析、图像识别、面部检测和其他图形处理的应用。图2显示用于面部识别的神经网络。图像输入10可以从一个较大的图像中提取，例如通过软件分离出人脸。特征提取器15执行低级特征提取、池化(pooling)和下采样。例如，可以识别并提取诸如眼睛和嘴巴的面部特征作为提取的特征12。对这些提取的特征12进行合成和下采样以生成输出14。

中级特征连接器17检查下采样的提取特征，生成连接16和中级特征18，然后可以使用中级特征18来生成高级特征19。分类器20对特征进行分类和完全连接，使得可以输出面部特征。