[发明专利]稀疏性利用的系统和方法

说明书

公开的是一种神经形态集成电路，所述神经形态集成电路在一些实施例中包括设置在二象限乘法器的模拟乘法器阵列中的多层神经网络。当去往乘法器的晶体管的输入信号的输入信号值近似为零、乘法器的晶体管的权重值近似为零或其组合时，乘法器中的每个乘法器线接到地并且汲取可忽略的电流量。还公开的是一种神经形态集成电路的方法，所述方法在一些实施例中包括：训练神经网络；跟踪权重值的改变率；确定某些权重值是否正在以及多么快地趋向于零；以及将那些权重值朝向零驱动，从而鼓励神经网络中的稀疏性。与线接到地的乘法器相组合的神经网络中的稀疏性最小化神经形态集成电路的功耗，使得电池功率足以用于供电。

优先权

本申请要求于2018年7月20日提交的美国专利申请No.16/041，565和2017年7月21日提交的题为“Systems and Methods for Sparsity Exploiting”的美国临时专利申请No.62/535，705的优先权权益，特此通过引用将所述申请在其整体上并入本申请中。

技术领域

本公开的实施例涉及神经形态计算领域。更具体地，本公开的实施例涉及用于鼓励神经形态集成电路的神经网络中的稀疏性并且最小化神经形态集成电路的功耗的系统和方法。

背景技术

传统的中央处理单元（“CPU”）基于“计时时间”处理指令。具体地，CPU操作使得以规律的时间间隔传输信息。基于互补金属氧化物半导体（“CMOS”）技术，可以利用每管芯多于50亿个晶体管来制造硅基芯片，所述管芯具有与10 nm一样小的特征。已经将CMOS技术中的进展成功地利用到并行计算的进展中，并行计算无所不在地用于包含多个处理器的个人计算机和蜂窝电话中。

然而，随着机器学习对于包括生物信息学、计算机视觉、视频游戏、市场营销、医学诊断、在线搜索引擎等的众多应用而言正变得普遍，传统的CPU经常不能在保持低功耗的同时供应足够量的处理能力。特别地，机器学习是计算机科学的子部分，其针对具有从数据中学习并且关于数据做出预测的能力的软件。此外，机器学习的一个分支包括深度学习，其针对利用深度（多层）神经网络。

目前，正在进行研究以开发深度神经网络的直接硬件实现方式，其可以包括尝试对“硅”神经元进行仿真（例如，“神经形态计算”）的系统。神经形态芯片（例如，被设计用于神经形态计算的硅计算芯片）通过使用以非均匀间隔传输的电流脉冲串而并行处理指令（例如，与传统的顺序计算机相反）来操作。作为结果，神经形态芯片对于处理信息、特别是人工智能（“AI”）算法而言需要少得多的功率。为了实现此，神经形态芯片可能包含与传统处理器一样多的晶体管的五倍之多的晶体管，而消耗少直至1/2000的功率。因此，神经形态芯片的开发针对提供一种具有巨大处理能力的芯片，所述芯片消耗比常规处理器少得多的功率。此外，神经形态芯片被设计成支持在复杂和非结构化数据的上下文中的动态学习。

存在对于开发具有巨大处理能力、消耗比常规处理器少得多的功率的神经形态芯片的持续需要。本文中提供的是用于鼓励神经形态芯片的神经网络中的稀疏性并且最小化神经形态芯片的功耗的系统和方法。

发明内容

本文中公开的是一种神经形态集成电路，所述神经形态集成电路在一些实施例中包括被设置在多个二象限乘法器的模拟乘法器阵列中的多层神经网络，所述多个二象限乘法器布置在所述神经形态集成电路的存储扇区中。当去往乘法器的晶体管的输入信号的输入信号值近似为零、乘法器的晶体管的权重值近似为零或其组合时，乘法器中的每个乘法器线接到地并且汲取可忽略的电流量。与线接到地的多个乘法器相组合的神经网络中的稀疏性最小化所述神经形态集成电路的功耗。

在一些实施例中，当去往乘法器的晶体管的输入信号的输入信号值为零、乘法器的晶体管的权重值为零或其组合时，乘法器中的每个乘法器不汲取电流。

在一些实施例中，权重值对应于设置在所述神经形态集成电路中的神经网络中的神经节点之间的突触权重值。