[发明专利]一种基于SNN的图像识别软硬件系统

权利要求书

1.一种基于SNN的图像识别软硬件系统，其特征在于，所述系统包括：

输入转换单元，用于完成输入图像的脉冲序列转换；

中间计算单元，用于完成中间脉冲的信息传递；

输出识别单元，用于完成模型最终分类输出，

目标图像先经过输入转换单元编码为脉冲序列，以符合中间脉冲的传递形式，再经过卷积和池化过程后，对应网络模型全局池化层的输出脉冲作为投票仲裁模块的特征向量并输出最终的分类结果。

2.根据权利要求1所述的一种基于SNN的图像识别软硬件系统，其特征在于，所述中间计算单元包括还包括：

脉冲传递模块，用于中间脉冲的信息传递，包括脉冲卷积模块和脉冲池化模块；

权重学习模块，负责网络权重的学习过程；

竞争抑制模块，用于脉冲传递过程和和权重学习过程的辅助调节机制，

将包含有脉冲传递模块、竞争抑制模块和权重学习模块的中间计算单元整体由CPU主机转移到GPU设备上并行执行，并通过CUDA核函数进行统一线程资源调配并且完成对于输入输出接口的数据交换，以实现对于系统典型功能模块和相应计算过程的异构加速。

3.根据权利要求2所述的一种基于SNN的图像识别软硬件系统，其特征在于，脉冲卷积模块基于离散二值化脉冲传递形式设计，若网络结构中前一级的卷积窗口内有脉冲发生，则后一级的神经元电压加上与该窗口对应的权值，脉冲池化模块根据池化窗口的脉冲确定输出，若池化窗口任意一个神经元发出脉冲，则下一层的神经元发出脉冲。

4.根据权利要求2所述的一种基于SNN的图像识别软硬件系统，其特征在于，权重学习模块中包括STDP权重学习模块，其修改规则表示为原始权重改变量与边界约束条件中对应LTP/LTD过程的缩放因子的乘积且原始权重该变量的大小，在模型训练过程参数确定的条件下，对应时间窗口内的权重改变量大小均可视为序列化常数，通过将其计算结果预先按照脉冲时间间隔的正负区分并分别存储于相应的散列表中。

5.根据权利要求4所述的一种基于SNN的图像识别软硬件系统，其特征在于，权重学习模块中还包括RL-STDP权重学习模块，在STDP权重学习模块的基础上引入了输入标签反馈信号，其中当真实输入标签与实际输出类别相同时，对应执行奖励过程学习模块；当真实输入标签与实际输出类别不同时，则对应执行惩罚过程学习模块。

6.根据权利要求4所述的一种基于SNN的图像识别软硬件系统，其特征在于，竞争抑制模块包括传输型抑制方式和学习型抑制方式，并且分别作用于脉冲传递模块和权重学习模块。

7.根据权利要求1所述的一种基于SNN的图像识别软硬件系统，其特征在于：输入转换单元中包括格式化模块，格式化模块包括灰度化、标准化、去边框和阈值化四个主要步骤，通过灰度化和标准化将原始图像的红、绿、蓝三个颜色通道的输入信息转化为对应灰度值的大小，并将其缩放为统一的标准尺寸，通过去边框和阈值化去除原始输入图像中包含的边框信息，并滤除无效的低阶灰度。

8.根据权利要求1所述的一种基于SNN的图像识别软硬件系统，其特征在于：输入转换单元还包括滤波编码模块，使用归一化的高斯差分函数对于输入图像进行二维滤波处理，初始脉冲发放时间为：

其中，p_i为输入像素点灰度值，p_max和p_min分别为输入像素点灰度值的最大值和最小值，T为网络最长处理周期，L为网络模型层数256个灰度值对应处理周期T的时间，灰度值与发放脉冲时间呈现反比例关系。

9.根据权利要求1所述的一种基于SNN的图像识别软硬件系统，其特征在于：输出识别单元包括全局池化模块，对应不同输入图像分组类别的池化结果，I类分组的池化结果中最早的脉冲产生时刻均处于输出通道的前半部分，对应II类分组的池化结果中最早的脉冲产生时刻均处于输出通道的后半部分。

10.根据权利要求1所述的一种基于SNN的图像识别软硬件系统，其特征在于：输出识别单元模块还包括投票仲裁模块，对应全局池化模块的输出结果，前5个与输入图像的I类对应，后5个与输入图像的II类对应，若某组神经元最早产生脉冲，该神经元输出结果有效，对应分组票数增加；若脉冲较晚或没有产生，该神经元输出结果无效，对应分组票数不变，模块将对应票数最多的分组类别作为识别系统的最终输出结果，当两组票数相等时则表示系统识别失败。