[发明专利]一种基于混合神经网络模型的视频去色方法

说明书

本发明属于视频处理的技术领域，具体涉及一种基于混合神经网络模型的视频去色方法，包括如下步骤：步骤一，输入彩色视频，并按照预定帧率将视频分割成若干视频帧，编码器利用卷积学习视频帧中图像的局部内容，然后提取局部语义特征；步骤二，提取视频帧之间的时序特征，并将时序特征通过融合器融合到局部语义特征；步骤三，利用基于反卷积的解码器对融合的时序特征进行解码，输出灰度化视频。本发明基于CNN和LSTM混合神经网络，能够保持视频帧对比度和连续视频帧间时序一致性，提高灰度化视频的质量，同时，解决了传统视频去色过程中的闪烁问题。

技术领域

本发明属于视频处理的技术领域，具体涉及一种基于混合神经网络模型的视频去色方法。

背景技术

目前的视频去色方法是基于图像去色算法，往往不能很好的保证时空一致性和算法效率。Ancuti等人在通过显著性图引导增强的去色方法中提出了一种融合的方法来解决图像和视频去色问题，通过使用拉普拉斯金字塔和高斯金字塔结合的方法实现视频去色。Song等人在基于双边滤波的实时视频去色的方法中提出通过计算两幅中间图像之间的差异来估计细节损失，如：一幅图像是通过对原始彩色图像应用双边滤波获得，另一幅图像是通过将亮度作为引导图像应用于原始彩色图像的联合双边滤波而获得的，然后，通过最小化输入彩色图像与作为残留图像和亮度之和的目标灰度图像之间的差异，将估计的细节损失映射到灰度图像中，该方法可以直接用于转换视频，同时可以保持时间一致性。Gooch等人在基于感知质量度量的对比度保留的去色方法中、Lu等人在基于拉普拉斯感知质量度量的半参数去色中、及Liu等人在基于视觉接近度优化的视频去色方法中提出的图像去色方法也可在视频去色中应用；Tao等人在基于视觉接近度优化的视频去色方法中和基于接近度优化的时空一致性视频去色方法中提出的算法是专门针对视频去色的，通过计算去色接近度来确定视频连续帧之间的相互关联性，该方法将视频帧之间的接近度分三类：分别为低级接近度、中级接近度和高级接近度，并且依据不同的接近采取不同的去色策略对视频帧进行灰度化，该方法明确将视频时空一致性问题引入到视频去色领域，但是该方法使用CPU进行试验，并没有推广到GPU，在时间效率上仍然有较大的提升空间。

针对视频时空一致性的算法研究已经取得卓越的进展。在传统方法中，Ogata等人在基于约束优化的视频编辑计算模型中提出了一种视频编辑模型将视频视为0.5或1秒长的盒模型的序列，由于每个盒模型的编辑规则是独立的，因此视频编辑是准确和系统的。为了提高视频帧间的时空一致性，Cuevas和Garcia在实时高质量视频编辑软件的分割工具中进行了实时高质量的镜头检测策略，分析了突然的过渡和渐变过渡，基于像素的快速转换分析可以大大减少冗余时间。此外，基于马尔可夫随机场(MRF)的方法及其马尔可夫链的扩展，被应用于许多方法中。Chen和Tang在基于马尔可夫自由场的时空一致性视频去噪方法，及计算机视觉与模式识别国际会议中，利用时空MRF从概率运动场估计似然性，及涉及MRF的其他类似方法，也提出了在不同情景下的有效解决方案。

视频去色本质上是对视频帧进行去色操作，如果只考虑单帧视频图像的去色效果，往往会伴随严重的闪烁现象，即相邻视频帧之间相同的局部特征或相同的物体，在两帧的去色结果中显示为不同的灰度级。

在深度学习领域中，循环神经网络(Recurrent neural network，RNN)是专门用于处理时序数据的神经网络，时序数据是指在不同时间点收集到的数据集合，这些数据能够反映事物、现象等随时间的变化状态或程度，并且可以在时域中形成隐式组合表示，RNN能够在每个时间节点产生一个输出，且该时间节点上的输出仅与下一时间节点的隐藏层单元连接。

然而，RNN在处理长期依赖时会遇到困难，即处理时间序列上距离较远的节点时，因为计算距离较远的节点间的联系时会涉及雅可比矩阵的多次相乘，这会造成梯度消失或者梯度膨胀问题，在实践中，RNN通过长时间间隔反向传播误差信号的能力变得越来越困难，距离较远的视频帧的无法进行误差信号的传播，导致学习过程中的参数无法更新。

发明内容