[发明专利]一种基于帧差法加速神经网络运算的方法

说明书

本发明涉及一种基于帧差法加速神经网络运算的方法。本发明方法对参考帧通过神经网络各层进行运算，保存线性矩阵运算的输入值和运算结果；对除参考帧以外各帧的处理包括线性矩阵运算部分和非线性运算部分。线性矩阵运算部分：将神经网络的连续输入序列的第k帧x_n,k减去前m帧x_n,k‑m，通过小值清零变换得到Δx_n,k，将Δx_n,k作为第n层输入，得到线性矩阵运算输出Δy_n,k，得到第n层第k帧的线性输出结果y_n,k，进而得到第n层的非线性运算输出结果y_n,k′；将y_n,k′‑y_n,k‑m′通过小值清零变换后的结果作为第n+1层神经网络线性矩阵运算的帧差值Δx_n+1,k，最终得到第n+1层第k帧的线性矩阵运算输出结果y_n+1,k；依次类推，直到最终输出结果。对于神经网络非线性运算部分采用常规方法运算。本发明方法可以加速神经网络运算，减少神经网络运算时间。

技术领域

本发明属于神经网络技术领域，具体涉及一种基于帧差法加速神经网络运算的方法。

背景技术

帧差法一般用于图像序列的运动检测，其又被称为帧间差分法或时间差分法，通过对时间连续的视频图像序列的多个帧之间采用灰度差分，并对差分的结果阈值化来获取图像中的运动目标区域一种运动目标检测方法。其基本思想是利用当前帧与相邻帧像素灰度值相近又不同的特点，对两帧图像进行差分运算，得到差分图像。若图像中存在运动目标，由于运动目标的运动，相邻两帧图像间的像素点灰度值差别就会很大；若不存在运动目标，则相邻两帧图像间的像素点灰度值差别就会很小。这样通过设定阈值，保留灰度值差别大的像素点，在差分图像中就能得到前景运动目标的轮廓。差分的计算需要遍历图像的所有像素点，所以帧差法是像素级的。帧间差分法的计算公式如下：

其中D_i(x,y)表示第i帧图像的运动区域，T表示判断阈值，I_i(x,y)表示第i帧图像的像素值。用灰度级为255的像素代表前景运动目标，灰度级为0的像素代表背景区域。

帧间差分法的优点是：算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。其缺点是：不能提取出对象的完整区域，只能提取出边界；同时依赖于选择的帧间时间间隔。对快速运动的物体，需要选择较小的时间间隔，如果选择不合适，当物体在前后两帧中没有重叠时，会被检测为两个分开的物体：而对慢速运动的物体，应该选择较大的时间差，如果时间选择不适当，当物体在前后两帧中几乎完全重叠时，则检测不到物体。

稀疏矩阵向量乘(SMVM)运算是许多工程计算与科学计算的核心，由于非零元素的稀疏性,计算密度较低,造成计算效率不高。对此在GPU、CPU、FPGA、NPU等平台中均有对稀疏矩阵向量乘特殊的加速处理库，如MKL、CUDNN等加速库，主要是通过优化存储结构及改善运算结构等方式来改进，能获得获得了10.3至74.0范围甚至更高比例的加速比。

神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络计算的核心为矩阵向量乘加。