[发明专利]模拟神经元的计算高效实施方式

说明书

一种设备包括模拟神经网络、数字控制器和存储器装置。模拟神经网络可以包括具有多个神经元的第一层。多个神经元可以被重复使用以形成模拟神经网络的第二层。每个神经元可以有多个输入。数字控制器可以耦合到模拟神经网络，并且可以为多个输入中的每个输入提供权重。存储器装置可以耦合到数字控制器，以存储多个输入中的每个输入的权重。

技术领域

本文描述的主题涉及可以在神经网络的多个层中重复使用的模拟神经元的计算高效实施方式。

背景技术

人工神经网络(本文简称为神经网络)是用于机器学习的计算系统。神经网络可以基于被称为神经元的连接节点的层，该神经元可以宽松地建模生物大脑中的神经元。每层都可以有多个神经元。不同层之间的神经元经由连接件相连接，该连接件对应于生物大脑中的突触。第一层中的一个神经元可以向另一层中的另一个神经元经由这两个神经元之间的连接件发送信号。连接件上发送的信号可以是实数。另一层的另一个神经元可以处理接收到的信号(即实数)，然后将处理的信号发送到另外的神经元。每个神经元的输出可以通过基于该神经元的输入的一些非线性函数来计算。每个连接件都可以具有权重，该权重可以在处理信号和计算输出之前调整信号。

常规地，这样的神经网络通常以数字方式实施。换句话说，尽管模拟计算可能比数字计算更高效，但是神经网络通常不以模拟形式实施，如下文所述。神经网络具有许多层，每层都需要许多神经元。传统的模拟神经网络需要为神经网络中的每个神经元提供单独的电子组件。当层数增加时，实施模拟神经网络所需的电子组件的数量也增加，这继而可能需要大量的计算需求，包括功率、空间、处理和存储需求。因此，模拟神经网络是罕见的，且传统上当存在时是无效的。

发明内容

一方面，描述了一种设备，该设备包括模拟神经网络、数字控制器和存储器装置。模拟神经网络可以包括具有神经元的第一层。神经元可以被重复使用以形成模拟神经网络的第二层。每个神经元都可以具有输入。数字控制器可以耦合到模拟神经网络以为输入的每个输入提供权重。存储器装置可以耦合到数字控制器，并且可以存储每个输入的权重。

在一些实施方式中，可以存在一个或多个以下特征。例如，该设备可以包括耦合到模拟神经网络以接收模拟神经网络的模拟输出的模数转换器。模数转换器可以将模拟神经网络的模拟输出转换成与数字控制器兼容的数字输出。模数转换器可以耦合到数字控制器，以将数字输出发送到数字控制器。

每个神经元的输出可以包括：来自耦合到模拟神经网络的传感器的模拟输入中的模拟输入；以及每个神经元的输出。可以将模拟输入输入到神经网络的第一层。模拟输入的计数可以等于神经元的计数。模拟输入可以被多路复用以形成并行信号的集合(例如，并行信号的六个集合，其中每个集合包括八个信号)。可以由模拟神经网络顺序处理并行信号的集合中的每个集合。

每个神经元可以包括第一电荷泵、第一运算放大器、第二电荷泵和第二运算放大器。第一电荷泵可以耦合到第一运算放大器。第二电荷泵可以耦合到第二运算放大器。第一运算放大器可操作为缓冲器以当神经元与第一层相关联时保存神经元的输出，而第二运算放大器可操作为积分器以当神经元被重复使用作第二层的一部分时计算神经元的输出。第二运算放大器可操作来切换为作为另一个缓冲器操作，以当神经元被重复使用作为第二层的一部分时保存神经元的输出，而第一运算放大器可操作来切换为作为另一个积分器操作，以在神经元被进一步重复使用作为神经网络的第三层的一部分时计算神经元的输出。

第一运算放大器和第二运算放大器中的每一者都可以与被配置为执行偏置补偿的电子组件耦合。第一运算放大器和第二运算放大器中的每一者都可以与被配置为放大模拟神经网络的输出的电子组件耦合。每个神经元还可以包括削波电路，该削波电路被配置为削波第一运算放大器和第二运算放大器中的一者的输出，以将输出保持在电压值的预先确定的范围内。

神经元中的每个神经元可以具有包括开关的电子电路。开关中每个开关的断开和闭合可以由数字控制器控制。