[发明专利]一种图像处理方法及装置

权利要求书

1.一种图像处理方法，所述方法包括：

根据t-1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，分别得到第一光流和第二光流，t为自然数，其中，第一光流为t-1时刻帧图像到t+1时刻帧图像的光流，第二光流为t+1时刻帧图像到t-1时刻帧图像的光流；

根据所述第一帧图像和所述第二帧图像进行深度运算，分别得到第一深度和第二深度；

根据所述第一帧图像、所述第一光流和所述第一深度确定第一预测帧图像；

根据所述第二帧图像、所述第二光流和所述第二深度确定第二预测帧图像；

对所述第一预测帧图像和第二预测帧图像进行合成得到第三预测帧图像。

2.根据权利要求1所述的方法，所述根据所述第一帧图像和所述第二帧图像进行深度运算，分别得到第一深度和第二深度，包括：

根据t-1时刻的第一帧图像、t+1时刻的第二帧图像和深度网络模型得到第一深度和第二深度。

3.根据权利要求1所述的方法，所述根据所述第一帧图像、所述第一光流和所述第一深度确定第一预测帧图像，包括：

根据第一帧图像和所述第一光流得到第四预测帧图像；

对所述第一深度进行单调性相反的函数运算得到每一像素点的出现概率；

根据所述第四预测帧图像和所述每一像素点的出现概率，确定第一预测帧图像。

4.根据权利要求1所述的方法，从所述根据t-1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，至对所述第一预测帧图像和第二预测帧图像进行合成得到第三预测帧图像的过程是由第一帧预测模型实现的。

5.根据权利要求4所述的方法，在所述得到第三预测帧图像之后，所述方法还包括：

根据所述第三预测帧图像和第二帧预测模型，确定第五预测帧图像，所述第二帧预测模型为生成式对抗神经网络模型，所述生成式对抗神经网络模型的生成模型和判别模型基于相同的图像生成网络模型。

6.根据权利要求5所述的方法，在所述得到第三预测帧图像之前，所述方法还包括：

对所述第一帧预测模型进行预训练，得到预训练后的第一帧预测模型。

7.根据权利要求6所述的方法，在所述根据所述第三帧图像和第二帧预测模型确定第六预测帧图像之前，所述方法还包括：

基于所述预训练后的第一帧预测模型建立生成式对抗神经网络模型，得到所述第二帧预测模型；

对所述第二帧预测模型进行对抗训练，得到对抗训练后的第二帧预测模型。

8.根据权利要求7所述的方法，所述对所述第二帧预测模型进行对抗训练，包括：

将所述第一帧预测模型的结果作为所述第二帧预测模型的生成模型的输入，将训练标签设置为1，对所述第二帧预测模型的生成模型进行训练；

将所述第一帧预测模型的结果作为所述第二帧预测模型的判别模型的输入，将训练标签设置为0，对所述第二帧预测模型的判别模型进行训练。

9.根据权利要求7所述的方法，在所述对所述第二帧预测模型进行对抗训练，得到对抗训练后的第二帧预测模型之后，所述方法还包括：

对所述第一帧预测模型和所述对抗训练后的第二帧预测模型进行联合训练。

10.一种图像处理装置，所述装置包括：

光流预测模块，用于根据t-1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，分别得到第一光流和第二光流，t为自然数，其中，第一光流为t-1时刻帧图像到t+1时刻帧图像的光流，第二光流为t+1时刻帧图像到t-1时刻帧图像的光流；

深度预测模块，用于根据所述第一帧图像和所述第二帧图像进行深度运算，分别得到第一深度和第二深度；

第一预测帧图像预测模块，用于根据所述第一帧图像、所述第一光流和所述第一深度确定第一预测帧图像；

第二预测帧图像预测模块，用于根据所述第二帧图像、所述第二光流和所述第二深度确定第二预测帧图像；

帧合成模块，用于对所述第一预测帧图像和第二预测帧进行合成得到第三预测帧图像。