[发明专利]一种基于强化学习的脉冲神经网络模拟电路

权利要求书

1.一种基于强化学习的脉冲神经网络电路，其特征在于，包括：输入层神经元，隐藏层神经元，输出神经元和突触；

所述输入层神经元通过突触与所述隐藏层神经元连接，所述隐藏层神经元通过突触与所述输出神经元连接；

所述突触用于根据权重值将前级神经元的第一脉冲信号进行调节后传递给后级神经元，还用于接收后级神经元输出的第二脉冲信号，并根据第一脉冲信号和第二脉冲信号之间的时间差以及奖励信号对所述权重值进行更新；

所述输出神经元包括：电容电荷泄漏与重置单元和神经元阈值自适应单元；

所述电容电荷泄漏与重置单元用于在神经元被激发后将存储在电容的电荷进行释放，使神经元处于初始态；

所述神经元阈值自适应单元用于在神经元被激发后，短时间阈值提高，更难被激发。

2.如权利要求1所述的脉冲神经网络电路，其特征在于，所述突触包括：信号传递单元和权重更新单元；

所述信号传递单元用于根据权重值将前级神经元的第一脉冲信号进行调节后传递给后级神经元；

所述权重更新单元用于接收后级神经元输出的第二脉冲信号，并根据第一脉冲信号和第二脉冲信号之间的时间差以及奖励信号对所述权重值进行更新。

3.如权利要求2所述的脉冲神经网络电路，其特征在于，所述权重更新单元包括：权重调节模块和奖励信号输入模块；

所述奖励信号输入模块用于将奖励信号r1和r2奖励给权重调节模块；

所述权重调节模块用于根据脉冲时间差以及奖励信号r1和r2实时快速调节突触的权重值。

4.如权利要求3所述的脉冲神经网络电路，其特征在于，所述奖励信号输入模块包括：N型晶体管N11、N12、N13、N14，第一反相器和第二反相器；

前脉冲的输入与晶体管N11的源端和第一反相器的输入相连，后脉冲的输入与N型晶体管N12的源端和第二反相器的输入相连，N型晶体管N14的漏端与STDP权重更新单元的前脉冲输入相连，N型晶体管N13和N型晶体管N14的源端分别于第一反相器和第二反相器的输出相连，N型晶体管N13和N型晶体管N14的漏端与权重调节单元的后脉冲输入相连，N型晶体管N12和N型晶体管N13的栅极与奖励信号r1相连，N型晶体管N11和N型晶体管N14的栅极与奖励信号r2相连。

5.如权利要求1所述的脉冲神经网络电路，其特征在于，所述电容电荷泄漏与重置单元包括：电容C1，泄露管N7和重置管N5；

所述电容C1的一端与泄露管N7的源级以及重置管N5的源级相连，电容C1的另一端与泄露管N7的漏极以及重置管N5的漏极相连后接地，泄露管N7的栅极用于连接外部的控制电源，重置管N5的栅极用于与第四级反相器的输出相连。

6.如权利要求1或5所述的脉冲神经网络电路，其特征在于，所述神经元阈值自适应单元包括：4个N型晶体管N1、N2、N3、N4，电容C2和P型晶体管P1；

所述N型晶体管N1的栅极为阈值自适应模块的输入，与电容C1相连，N型晶体管N1的漏极为模块的输出与N型晶体管N2的源极第一级反相器的输入相连；

电容C2的一端分别于N型晶体管N4的漏极与N型晶体管N3的源极以及N型晶体管N2的栅极相连，另一端与N型晶体管N3和N型晶体管N2的漏极都与地相连；

N型晶体管N4的栅极与第四级反相器的输出相连，N型晶体管N3的栅极外接控制电源，P型晶体管P1的栅极和其漏极与电源电压VDD相连，P型晶体管P1的源级与N型晶体管N4的源级相连。