[发明专利]视频去噪方法及装置、存储介质及电子设备

权利要求书

1.一种视频去噪方法，其特征在于，包括：

获取视频帧序列，所述视频帧序列包括连续的多个视频帧，所述多个视频帧包括待去噪视频帧；

通过预先构建的视频去噪模型中的帧内去噪模块对所述待去噪视频帧进行空间卷积，获得所述待去噪视频帧的第一空间特征；

通过所述视频去噪模型中的帧间去噪模块对所述多个视频帧进行时空卷积，获得所述待去噪视频帧的时空特征；所述时空特征包含所述待去噪视频帧的第二空间特征，以及所述待去噪视频帧在所述视频帧序列中的时间特征；

通过所述视频去噪模型中的特征融合模块将所述第一空间特征以及所述时空特征进行融合，获得所述待去噪视频帧的噪声残差图，并通过所述噪声残差图对所述待去噪视频帧进行去噪，获得所述待去噪视频帧的恢复帧。

2.根据权利要求1所述的方法，其特征在于，构建所述视频去噪模型的过程，包括：

获取训练数据集，所述训练数据集包含多个训练数据，每个所述训练数据包括原始视频序列以及所述原始视频序列的噪声视频序列，所述噪声视频序列包括噪声视频帧；所述原始视频序列包括所述噪声视频帧相对应的干净视频帧；

将每个所述训练数据中的噪声视频序列输入至初始视频去噪模型，获得该噪声视频序列的噪声视频帧的测试恢复帧，并依据所述初始视频去噪模型的损失函数、所述测试恢复帧以及该噪声视频帧对应的干净视频帧，训练所述初始视频去噪模型；

在所述初始视频去噪模型的满足预设的训练完成条件的情况下，将已满足所述训练完成条件的所述初始视频去噪模型作为视频去噪模型。

3.根据权利要求2所述的方法，其特征在于，所述依据所述初始视频去噪模型的损失函数、所述测试恢复帧以及该噪声视频帧对应的干净视频帧，训练所述初始视频去噪模型，包括：

将所述噪声视频帧的测试恢复帧以及所述噪声视频帧对应的干净视频帧代入所述损失函数，获得所述初始视频去噪模型的损失值；所述损失值包括时间损失以及空间损失；

利用所述损失值训练所述初始视频去噪模型。

4.根据权利要求2所述的方法，其特征在于，所述获取训练数据集，包括：

获取多个原始视频序列；

对每个所述原始视频序列中的每一干净视频帧添加噪声，获得所述原始视频序列的噪声视频序列；

将每个所述原始视频序列以及每个所述原始视频序列的噪声视频序列组成一个训练数据，并由各个所述训练数据构成所述训练数据集。

5.一种视频去噪装置，其特征在于，包括：

获取单元，用于获取视频帧序列，所述视频帧序列包括连续的多个视频帧，所述多个视频帧包括待去噪视频帧；

第一特征处理单元，用于通过预先构建的视频去噪模型中的帧内去噪模块对所述待去噪视频帧进行空间卷积，获得所述待去噪视频帧的第一空间特征；

第二特征处理单元，用于通过所述视频去噪模型中的帧间去噪模块对所述多个视频帧进行时空卷积，获得所述待去噪视频帧的时空特征；所述时空特征包含所述待去噪视频帧的第二空间特征，以及所述待去噪视频帧在所述视频帧序列中的时间特征；

去噪单元，用于通过所述视频去噪模型中的特征融合模块将所述第一空间特征以及所述时空特征进行融合，获得所述待去噪视频帧的噪声残差图，并通过所述噪声残差图对所述待去噪视频帧进行去噪，获得所述待去噪视频帧的恢复帧。

6.根据权利要求5所述的装置，其特征在于，还包括训练单元，所述训练单元，包括：

获取子单元，用于获取训练数据集，所述训练数据集包含多个训练数据，每个所述训练数据包括原始视频序列以及所述原始视频序列的噪声视频序列，所述噪声视频序列包括噪声视频帧；所述原始视频序列包括所述噪声视频帧相对应的干净视频帧；

训练子单元，用于将每个所述训练数据中的噪声视频序列输入至初始视频去噪模型，获得该噪声视频序列的噪声视频帧的测试恢复帧，并依据所述初始视频去噪模型的损失函数、所述测试恢复帧以及该噪声视频帧对应的干净视频帧，训练所述初始视频去噪模型；

执行子单元，用于在所述初始视频去噪模型的满足预设的训练完成条件的情况下，将已满足所述训练完成条件的所述初始视频去噪模型作为视频去噪模型。