[发明专利]数据增强方法、脉冲神经网络训练方法、存储介质和芯片

说明书

本发明公开了一种数据增强方法、脉冲神经网络训练方法、存储介质和芯片。为解决实际环境中，由于用户动作或物体与光源存在交叉，在图像传感器中产生的不被期望的光斑数据，本发明基于事件帧中各像素单元的像素值获得满足预设条件的光斑中心点候选范围，选择光斑中心点候选范围内的一个或多个像素单元作为光斑中心点，并以此为中心对脉冲神经网络的训练集进行光斑数据增强。通过上述方法，得到多样性的含光斑的训练数据，以使脉冲神经网络能够适应复杂、多变的实际工作环境，具有更好的精度和稳定性。本发明适于类脑芯片或类脑计算领域。

技术领域

本发明涉及一种数据增强方法、脉冲神经网络训练方法、存储介质和芯片，具体涉及一种为使脉冲神经网络具有更强准确性、鲁棒性和普适性的数据增强方法、脉冲神经网络训练方法、存储介质和芯片。

背景技术

脉冲神经网络（SNN），被誉为第三代神经网络，其模仿大脑运行原理，具有事件驱动特性和丰富的时空动力学特征，计算代价小、功耗低。值得一提的是，神经形态硬件或类脑芯片是非冯诺依曼架构，其并不基于计算机程序而执行传统意义上的各种数学/程序函数计算。通常，通常在传统计算平台上（如高性能图形处理器GPU设备）中对SNN进行模拟仿真，并利用数据集进行训练，获得使得SNN预测性能达到最优的网络配置参数。将获得的最优网络配置参数，映射或部署至芯片中，芯片在接收到从环境中采集而来的信号后，运行芯片内的脉冲神经网络，自动完成基于接收到的信号的推理过程，获得符合实际环境情况的推理结果，如图1所示。基于事件相机（或帧图像经过差帧而获得脉冲序列）和脉冲神经网络（SNN）组合的感知与计算方案，可提供一种低功耗（可以低至毫瓦级）、高实时性（可至微秒级）的“感算一体”解决方案，应用于边缘计算、物联网等终端场景，在不联网的情况下实现终端智能。

相较于ANN 领域种类繁多的数据集，适合SNN的数据集由时空事件流构成，目前仅有Neuromorphic-MNIST、DVS-Gesture等比较小的数据集，发展大规模或契合实际使用场景的SNN训练数据集是产业界的难题。虽然产生脉冲事件的方法由多种，例如差帧等转换，然而转换得来的脉冲数据集，难以表达丰富的时序信息无法利用SNN的时空处理特性，基于事件（event/spike）的成像装置产生的事件流是目前最适合SNN应用的一类数据集。

基于事件的成像装置是一种仿生的新型视觉传感器，例如事件相机（eventcamera）、动态视觉传感器（DVS、DAVIS）、基于事件成像的融合传感器等神经形态视觉传感器，后续以事件相机为例，但并不以此为限。不同于传统的帧图像传感器（比如APS传感器），事件相机不以固定的速率捕捉图像，其每个像素独立工作，根据感受到的光线变化，当光线的强弱变化超出某个阈值时，输出ON事件（光强增大）或OFF事件（光强变弱），具体可以参考现有技术1： EP3731516A1。

事件相机捕捉场景中的变化/运动信息，输出的事件通常包括事件产生的时间戳（精确到us/ns）、产生事件的像素坐标（x,y）和事件的极性（光强变亮或变暗，或者像素的光电压值即灰度值），其中，事件的极性在某些情况下可忽略。事件相机基于光强的变化产生事件，其输出只有正负，而没有强度，对于人工神经网络、深度神经网络来说，无法分析事件产生的原因，可能会提供错误的特征信息，影响训练结果。

事件相机具有非常高的灵敏性，容易将外界微小的干扰捕捉成噪声事件。光强的变化不仅受场景光照影响，还受该时间点前后物体运动以及物体-传感器-光源间相对运动的影响。