[发明专利]一种视频帧生成方法及装置

说明书

本发明实施例提供了一种视频帧生成方法及装置，上述方法包括：获得第一视频帧和第二视频帧；对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，所述预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像；对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，所述目标分辨率为所述第一视频帧和所述第二视频帧的分辨率。应用本发明实施例提供的方案所生成的视频帧能够插入至两个视频帧之间。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种视频帧生成方法及装置。

背景技术

为了提高视频的帧率，可以对视频进行视频插帧。视频插帧是指在两个视频帧之间插入新的视频帧，且所插入的视频帧和两个视频帧具有较强的内容相关性，以此保证视频的内容流畅性。因此，亟需一种视频帧生成方法，以生成用于插入至两个视频帧之间的视频帧。

发明内容

本发明实施例的目的在于提供一种视频帧生成方法及装置，以生成用于插入至两个视频帧之间的视频帧。具体技术方案如下：

第一方面，本发明实施例提供了一种视频帧生成方法，所述方法包括：

获得第一视频帧和第二视频帧；

对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，其中，所述预设分辨率为：已有图像生成模型所支持的输入图像的分辨率范围内的分辨率；

将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像；

对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧，其中，所述目标分辨率为所述第一视频帧和所述第二视频帧的分辨率。

本发明的一个实施例中，上述对所述第一视频帧和第二视频帧进行降采样处理，得到分辨率为预设分辨率的第一图像和第二图像，包括：

对所述第一视频帧进行降采样处理，得到每一图像分量对应的、且分辨率为预设分辨率的第一图像；

对所述第二视频帧进行降采样处理，得到每一所述图像分量对应的、且分辨率为所述预设分辨率的第二图像；

所述将所述第一图像和第二图像输入至所述图像生成模型进行图像融合，生成目标图像，包括：

将每一图像对输入至所述图像生成模型进行图像融合，得到每一图像对所对应的目标图像，其中，所述图像对包括：相同图像分量所对应的第一图像和第二图像。

本发明的一个实施例中，上述预设分辨率为所述分辨率范围内的最大分辨率。

本发明的一个实施例中，在所述对所述目标图像进行升采样处理，得到分辨率为目标分辨率的目标帧之后，还包括：

将所述目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧。

本发明的一个实施例中，所述将所述目标帧中至少一个目标区域的图像内容替换为第一视频帧或第二视频帧中对应区域的图像内容，得到替换后的目标帧，包括：

对第三图像和第四图像进行升采样处理，得到分辨率为所述目标分辨率的第三视频帧和第四视频帧，其中，所述第三图像为：所述第一视频帧经过降采样处理后得到的图像，所述第四图像为：所述第二视频帧经过降采样处理后得到的图像；

针对所述目标帧所包含的每一目标区域，从所述第三视频帧以及第四视频帧所包含的各个区域中，确定与该目标区域的匹配度最高的匹配区域；