[发明专利]一种图像处理方法及装置

说明书

本申请公开了一种图像处理方法及装置。该方法在根据光流法插帧时，不仅会进行光流运算还会进行深度运算。由于深度可以指示被摄物体与镜头之间的距离远近，深度越大表示距离越远，那么与该深度对应的像素应该越低。利用这一原理，可以通过深度对光流中的像素进行强化或弱化，从而使被插入的帧图像更为清晰和更为合理，也更接近真实的帧图像，使视频画面更为流畅，观看体验更佳。

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及装置。

背景技术

光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

通过光流法，可以对定时采集的帧序列进行插帧(根据上一时刻的帧和当前时刻的帧预测上一时刻和当前时刻之间某一时刻的帧)，将视频恢复合成为流畅完整的帧流。

现有的光流法帧预测神经网络，通常采用线性方法计算t时刻通过某点的光流，用光流包装t-1时刻的图像和t+1时刻的图像,最后完成图像融合，得到t时刻的图像。但这种方法对光流预测的精度要求较高，当精度不高时，预测的帧会非常模糊，甚至会使预测帧中的图像发生变形。

发明内容

本申请人创造性地提供一种图像处理方法及装置。

根据本申请实施例第一方面，提供一种图像处理方法，该方法包括：根据t-1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，分别得到第一光流和第二光流，t为自然数，其中，第一光流为t-1时刻帧图像到t+1时刻帧图像的光流，第二光流为t+1时刻帧图像到t-1时刻帧图像的光流；根据第一帧图像和第二帧图像进行深度运算，分别得到第一深度和第二深度；根据第一帧图像、第一光流和第一深度确定第一预测帧图像；根据第二帧图像、第二光流和第二深度确定第二预测帧图像；对第一预测帧图像和第二预测帧图像进行合成得到第三预测帧图像。

根据本申请实施例一实施方式，根据第一帧图像和第二帧图像进行深度运算，分别得到第一深度和第二深度，包括：根据t-1时刻的第一帧图像、t+1时刻的第二帧图像和深度网络模型得到第一深度和第二深度。

根据本申请实施例一实施方式，根据第一帧图像、第一光流和第一深度确定第一预测帧图像，包括：根据第一帧图像和第一光流得到第四预测帧图像；对第一深度进行单调性相反的函数运算得到每一像素点的出现概率；根据第四预测帧图像和每一像素点的出现概率，确定第一预测帧图像。

根据本申请实施例一实施方式，从根据t-1时刻的第一帧图像和t+1时刻的第二帧图像进行光流运算，至对第一预测帧图像和第二预测帧图像进行合成得到第三预测帧图像的过程是由第一帧预测模型实现的。

根据本申请实施例一实施方式，在得到第三预测帧图像之后，方法还包括：根据第三预测帧图像和第二帧预测模型，确定第五预测帧图像，第二帧预测模型为生成式对抗神经网络模型，该生成式对抗神经网络模型的生成模型和判别模型基于相同的图像生成网络模型。

根据本申请实施例一实施方式，在得到第三预测帧图像之前，该方法还包括：对第一帧预测模型进行预训练，得到预训练后的第一帧预测模型。

根据本申请实施例一实施方式，在根据第三帧图像和第二帧预测模型确定第六预测帧图像之前，该方法还包括：

基于预训练后的第一帧预测模型建立生成式对抗神经网络模型，得到第二帧预测模型；对第二帧预测模型进行对抗训练，得到对抗训练后的第二帧预测模型。

根据本申请实施例一实施方式，对第二帧预测模型进行对抗训练，包括：将第一帧预测模型的结果作为第二帧预测模型的生成模型的输入，将训练标签设置为1，对第二帧预测模型的生成模型进行训练；将第一帧预测模型的结果作为第二帧预测模型的判别模型的输入，将训练标签设置为0，对第二帧预测模型的判别模型进行训练。