[发明专利]视频去噪方法及装置、存储介质及电子设备

说明书

本发明提供了一种视频去噪方法及装置、存储介质及电子设备，该方法包括：获取连续的多个视频帧，该多个视频帧包括待去噪视频帧；将该多个视频帧输入至视频去噪模型，以通过视频去噪模型获得待去噪视频帧的残差噪声图，通过视频去噪模型基于待去噪视频帧的残差噪声图对待去噪视频帧进行去噪，获得待去噪视频帧的恢复帧；其中，待去噪视频帧的残差噪声图由待去噪视频帧的空间特征以及时空特征融合得到，空间特征强调帧内信息，时空特征强调帧间信息。在此基础上，根据残差噪声图对待去噪视频帧进行去噪，能够考虑视频的时间冗余，提高视频去噪的质量。

技术领域

本发明涉及数据处理技术领域，特别涉及一种视频去噪方法及装置、存储介质及电子设备。

背景技术

在日常生活中，由于拍摄条件的限制以及发送设备、传输设备、接收设备的影响，视频经常受到噪声干扰，使视频质量下降，从而影响视频的视觉效果，妨碍视频的进一步处理。因此，需要对视频去噪以提升视频的质量。

相关技术中，通常是利用视频的自相似性等先验知识对视频进行去噪，最为典型的方法如VBM3D，VBM4D，BM4D等，它们将图像去噪方法BM3D拓展到视频去噪，首先寻找视频序列中具有自相似性的图像块，然后对所有图像块进行协同滤波，最后聚合所有去噪后的图像块获得去噪后的视频恢复帧。

然而，相关技术主要依赖于先验知识，受限于认知的局限性，无法完全考虑到各种噪声情况，因此，采用现有的相关技术进行去噪所得到的视频质量依然不够高。

发明内容

本发明所要解决的技术问题是提供一种视频去噪方法，能够提升视频去噪的质量。

本发明还提供了一种视频去噪装置，用以保证上述方法在实际中的实现及应用。

一种视频去噪方法，包括：

获取视频帧序列，所述视频帧序列包括连续的多个视频帧，所述多个视频帧包括待去噪视频帧；

通过预先构建的视频去噪模型中的帧内去噪模块对所述待去噪视频帧进行空间卷积，获得所述待去噪视频帧的第一空间特征；

通过所述视频去噪模型中的帧间去噪模块对所述多个视频帧进行时空卷积，获得所述待去噪视频帧的时空特征；所述时空特征包含所述待去噪视频帧的第二空间特征，以及所述待去噪视频帧在所述视频帧序列中的时间特征；

通过所述视频去噪模型中的特征融合模块将所述第一空间特征以及所述时空特征进行融合，获得所述待去噪视频帧的噪声残差图，并通过所述噪声残差图对所述待去噪视频帧进行去噪，获得所述待去噪视频帧的恢复帧。

上述的方法，可选的，构建所述视频去噪模型的过程，包括：

获取训练数据集，所述训练数据集包含多个训练数据，每个所述训练数据包括原始视频序列以及所述原始视频序列的噪声视频序列，所述噪声视频序列包括噪声视频帧；所述原始视频序列包括所述噪声视频帧相对应的干净视频帧；

将每个所述训练数据中的噪声视频序列输入至初始视频去噪模型，获得该噪声视频序列的噪声视频帧的测试恢复帧，并依据所述初始视频去噪模型的损失函数、所述测试恢复帧以及该噪声视频帧对应的干净视频帧，训练所述初始视频去噪模型；

在所述初始视频去噪模型的满足预设的训练完成条件的情况下，将已满足所述训练完成条件的所述初始视频去噪模型作为视频去噪模型。

上述的方法，可选的，所述依据所述初始视频去噪模型的损失函数、所述测试恢复帧以及该噪声视频帧对应的干净视频帧，训练所述初始视频去噪模型，包括：

将所述噪声视频帧的测试恢复帧以及所述噪声视频帧对应的干净视频帧代入所述损失函数，获得所述初始去噪模型的损失值；所述损失值包括时间损失以及空间损失；

利用所述损失值训练所述初始视频去噪模型。