[发明专利]利用卷积神经网络进行视频处理的方法及装置

说明书

本发明实施例提供一种利用卷积神经网络进行视频处理的方法及装置，其中方法包括：将任意一帧图像作为目标图像，选择在目标图像时序前的另一帧图像作为参考图像，获得目标图像相对卷积神经网络中第i+1层卷积层的原始帧；将参考图像经过卷积神经网络中第i层卷积层计算的结果和原始帧分别输入至卷积神经网络中的激活函数，并计算两个输出结果的差值，获得目标图像相对卷积神经网络中第i+1层卷积层的差分帧；将目标图像相对卷积神经网络中第i+1层卷积层的差分帧输入至卷积神经网络中第i+1层卷积层，获得目标图像经过卷积神经网络中第i+1层卷积层计算的结果。本发明实施例相比现有逐帧处理的技术，能够提高神经网络的运算效率。

技术领域

本发明涉及图像处理技术领域，更具体地，涉及利用卷积神经网络进行视频处理的方法及装置。

背景技术

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络已经成为在图像识别、语音识别等领域最常用的算法，这一类方法需要非常多的计算量，需要设计专用的加速器。但由于可移动设备资源受限，目前在GPU和FPGA(FieldProgrammable Gate Array，现场可编程门阵列)平台上设计的加速器很难在这些要求低功耗、资源受限的平台(例如移动操作系统)上使用。

目前神经网络被广泛应用于追踪领域，神经网络往往用于处理视频任务，即神经网络会处理连续的帧图像，用于追踪或者识别视频中的物体。多帧处理需要加速器按时计算结果响应，但同时，多帧处理又给加速器带来了非常多的计算量，增大了延时。目前大部分方法均采用逐帧处理的方式，即一帧图像经过神经网络的所有卷积层处理后，再处理下一帧图像，但这样的处理方式存在计算量大且效率低的缺陷。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的利用卷积神经网络进行视频处理的方法及装置。

第一个方面，本发明实施例提供一种利用卷积神经网络进行视频处理的方法，包括：

将视频拆分成按时序排列的多帧图像；

将任意一帧图像作为目标图像，选择在所述目标图像时序前的另一帧图像作为参考图像，将所述目标图像和所述参考图像分别经过卷积神经网络中第i层卷积层计算的结果求和，获得所述目标图像相对卷积神经网络中第i+1层卷积层的原始帧；

将所述参考图像经过卷积神经网络中第i层卷积层计算的结果和所述原始帧分别输入至卷积神经网络中的激活函数，并计算两个输出结果的差值，获得所述目标图像相对卷积神经网络中第i+1层卷积层的差分帧；

将所述目标图像相对卷积神经网络中第i+1层卷积层的差分帧输入至卷积神经网络中第i+1层卷积层，获得所述目标图像经过卷积神经网络中第i+1层卷积层计算的结果；0≤i≤N-1，i和N均为正整数，N表示卷积层的总层数。

优选地，所述将所述目标图像相对卷积神经网络中第i+1层卷积层的差分帧输入至卷积神经网络中第i+1层卷积层，之前还包括：

根据所述差分帧中各像素点的比特数，将所述差分帧拆分为低比特数据和高比特数据；

相应地，所述将所述目标图像相对卷积神经网络中第i+1层卷积层的差分帧输入至卷积神经网络中第i+1层卷积层，具体为：

若判断输入至用于计算卷积神经网络的计算单元的数据为低比特数据，则将所述计算单元重构为低比特模式，将所述低比特数据输入至低比特模式的计算单元的卷积神经网络中第i+1层卷积层；

若判断输入至用于计算卷积神经网络的计算单元的数据为高比特数据，则将所述计算单元重构为高比特模式，将所述高比特数据输入至高比特模式的计算单元的卷积神经网络中第i+1层卷积层。