[发明专利]一种基于混合神经网络模型的视频去色方法

权利要求书

1.一种基于混合神经网络模型的视频去色方法，其特征在于，包括如下步骤：

步骤一，输入彩色视频，并按照预定帧率将视频分割成若干视频帧，编码器利用卷积学习所述视频帧中图像的局部内容，然后提取局部语义特征；

步骤二，提取所述视频帧之间的时序特征，并通过融合器将时序特征与所述局部语义特征计算得到融合的时序特征；

步骤三，利用基于反卷积的解码器对所述融合的时序特征进行解码，输出灰度化视频；

其中，步骤二中，融合时序特征的公式为：

其中，和分别表示前向和反向计算的隐藏层的输出，Lstm()是记忆单元，f_i是编码器的输出，W和b是两个方向的对应的权重和偏置量，s_i表示融合时序特征后的信息。

2.如权利要求1所述的一种基于混合神经网络模型的视频去色方法，其特征在于：步骤一中，所述编码器采用VGGNet19结构。

3.如权利要求1所述的一种基于混合神经网络模型的视频去色方法，其特征在于：所述编码器和所述解码器的卷积层为3×3的卷积核。

4.如权利要求1所述的一种基于混合神经网络模型的视频去色方法，其特征在于：所述编码器设置有多个卷积层。

5.如权利要求4所述的一种基于混合神经网络模型的视频去色方法，其特征在于：所述解码器设置有多个反转积层和池化层。

6.如权利要求1所述的一种基于混合神经网络模型的视频去色方法，其特征在于：所述编码器、所述融合器及所述解码器均基于CNN和LSTM混合神经网络。

7.如权利要求1所述的一种基于混合神经网络模型的视频去色方法，其特征在于：步骤一中，提取所述局部语义特征的过程表示为：

f_i＝encoder(C_i),i∈{1,2,…t}，其中，f_i表示视频帧的局部语义特征，C_i表示输入的彩色视频帧。

8.如权利要求1所述的一种基于混合神经网络模型的视频去色方法，其特征在于：步骤三中，解码后所述灰度化视频帧序列表示为G_i＝decoder(s_i),i∈{1,2,…,t}。

9.如权利要求5所述的一种基于混合神经网络模型的视频去色方法，其特征在于：步骤三中，在第4个所述池化层后插入一个1×1的所述卷积层，获得额外的输出，然后添加到第二个所述反卷积层的输出。