[发明专利]利用卷积神经网络进行视频处理的方法及装置

权利要求书

1.一种利用卷积神经网络进行视频处理的方法，其特征在于，包括：

将视频拆分成按时序排列的多帧图像；

将任意一帧图像作为目标图像，选择在所述目标图像时序前的另一帧图像作为参考图像，将所述目标图像和所述参考图像分别经过卷积神经网络中第i层卷积层计算的结果求和，获得所述目标图像相对卷积神经网络中第i+1层卷积层的原始帧；

将所述参考图像经过卷积神经网络中第i层卷积层计算的结果和所述原始帧分别输入至卷积神经网络中的激活函数，并计算两个输出结果的差值，获得所述目标图像相对卷积神经网络中第i+1层卷积层的差分帧；

将所述目标图像相对卷积神经网络中第i+1层卷积层的差分帧输入至卷积神经网络中第i+1层卷积层，获得所述目标图像经过卷积神经网络中第i+1层卷积层计算的结果；0≤i≤N-1，i和N均为正整数，N表示卷积层的总层数；

所述将所述目标图像相对卷积神经网络中第i+1层卷积层的差分帧输入至卷积神经网络中第i+1层卷积层，之前还包括：

根据所述差分帧中各像素点的比特数，将所述差分帧拆分为低比特数据和高比特数据；

相应地，所述将所述目标图像相对卷积神经网络中第i+1层卷积层的差分帧输入至卷积神经网络中第i+1层卷积层，具体为：

若判断输入至用于计算卷积神经网络的计算单元的数据为低比特数据，则将所述计算单元重构为低比特模式，将所述低比特数据输入至低比特模式的计算单元的卷积神经网络中第i+1层卷积层；

若判断输入至用于计算卷积神经网络的计算单元的数据为高比特数据，则将所述计算单元重构为高比特模式，将所述高比特数据输入至高比特模式的计算单元的卷积神经网络中第i+1层卷积层。

2.根据权利要求1所述的利用卷积神经网络进行视频处理的方法，其特征在于，获得所述目标图像经过卷积神经网络中第i+1层卷积层计算的结果，具体为：

将低比特模式的计算单元和高比特模式的计算单元的卷积神经网络中第i+1层卷积层的输出结果相加，获得所述目标图像经过卷积神经网络中第i+1层卷积层计算的结果。

3.根据权利要求1或2所述的利用卷积神经网络进行视频处理的方法，其特征在于，所述将所述差分帧拆分为低比特数据和高比特数据，之后还包括：

对低比特数据使用第一编码方法进行编码，获得第一编码结果；

对高比特数据使用第二编码方法进行编码，获得第二编码结果；

将所述第一编码结果和所述第二编码结果存储至内存中。

4.根据权利要求3所述的利用卷积神经网络进行视频处理的方法，其特征在于，所述将所述低比特数据输入至低比特模式的计算单元的卷积神经网络中第i+1层卷积层，具体为：

根据第一解码方法将内存中的第一编码结果进行解码，获得低比特数据，将所述低比特数据输入至低比特模式的计算单元的卷积神经网络中第i+1层卷积层；

将所述高比特数据输入至高比特模式的计算单元的卷积神经网络中第i+1层卷积层，具体为：

根据第二解码方法将内存中的第二编码结果进行解码，获得高比特数据，将所述高比特数据输入至高比特模式的计算单元的卷积神经网络中第i+1层卷积层；

其中，所述第一编码方法与所述第一解码方法对应，所述第二编码方法与所述第二解码方法对应。

5.根据权利要求3所述的利用卷积神经网络进行视频处理的方法，其特征在于，所述第一编码结果包括若干个数据包，每个数据包与且只与帧图像中的预设个数的像素值对应，每个数据包包括唯一标识以及若干个动态数据，每个所述动态数据对应一个低比特像素点的像素值，且所述动态数据的位宽与所述低比特的像素点中的最大位宽一致；

所述第二编码结果包括所述高比特数据中所有非零像素点的像素值和坐标。

6.根据权利要求3所述的利用卷积神经网络进行视频处理的方法，其特征在于，所述将所述第一编码结果和所述第二编码结果存储至内存中，具体为：

将所述第一编码结果和第二编码结果分别缓存至第一队列和第二队列，根据第一队列和第二队列的预设输出时间和输出速度，将所述第一队列和第二队列输出至所述内存中。