[发明专利]视频插帧方法、装置、设备以及存储介质

说明书

本申请公开了一种视频插帧方法、装置、设备以及存储介质，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域。该方法的一具体实施方式包括：获取目标视频及获取目标视频中的第t‑1帧和第t帧图像；获取第t‑1帧和第t帧图像的各个像素点的运动层次信息；分别获取第t‑1帧和第t帧图像的深层插帧特征；基于第t‑1帧和第t帧图像的深层插帧特征及运动层次信息，分层进行插帧操作，生成第t‑1帧和第t帧图像之间的插帧，并插入第t‑1帧和第t帧图像之间。该实施方式通过将视频帧分为不同的运动层次，使得不同层次的光流映射分离，互不影响，缓解了画面扭曲等问题。

技术领域

本申请实施例涉及计算机领域，具体涉及计算机视觉、深度学习等人工智能领域，尤其涉及视频插帧方法、装置、设备以及存储介质。

背景技术

随着视频直播业务的兴起，服务器分发带宽成本成为直播服务提供商的主要成本。为了减少带宽成本，一种最直接的方式是分发帧率视频，但是这种方式与60FPS(FramesPer Second，每秒传输帧数)、120FPS的高帧率视频观感体验差距很大。视频插帧技术可以在视频帧之间插入中间帧，增加视频帧率，使视频观看起来更加顺畅，从而减少跳跃、抖动等现象的发生，极大地提升了用户体验。

发明内容

本申请实施例提出了一种视频插帧方法、装置、设备以及存储介质。

第一方面，本申请实施例提出了一种视频插帧方法，包括：获取目标视频及获取目标视频中的第t-1帧图像和第t帧图像，其中，t为正整数；获取第t-1帧图像和第t帧图像的各个像素点的运动层次信息；分别获取第t-1帧图像和第t帧图像的深层插帧特征；基于第t-1帧图像和第t帧图像的深层插帧特征及运动层次信息，分层进行插帧操作，生成第t-1帧图像和第t帧图像之间的插帧，并插入第t-1帧图像和第t帧图像之间。

第二方面，本申请实施例提出了一种视频插帧装置，包括：第一获取模块，被配置成获取目标视频及获取目标视频中的第t-1帧图像和第t帧图像，其中，t为正整数；第二获取模块，被配置成获取第t-1帧图像和第t帧图像的各个像素点的运动层次信息；第三获取模块，被配置成分别获取第t-1帧图像和第t帧图像的深层插帧特征；插帧模块，被配置成基于第t-1帧图像和第t帧图像的深层插帧特征及运动层次信息，分层进行插帧操作，生成第t-1帧图像和第t帧图像之间的插帧，并插入第t-1帧图像和第t帧图像之间。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。

本申请实施例提供的视频插帧方法、装置、设备以及存储介质，首先获取目标视频及获取目标视频中的第t-1帧图像和第t帧图像，其中，t为正整数；然后获取第t-1帧图像和第t帧图像的各个像素点的运动层次信息；之后分别获取第t-1帧图像和第t帧图像的深层插帧特征；最后基于第t-1帧图像和第t帧图像的深层插帧特征及运动层次信息，分层进行插帧操作，生成第t-1帧图像和第t帧图像之间的插帧，并插入第t-1帧图像和第t帧图像之间。本申请提供了一种基于分层感知技术的视频插帧方法，通过将视频帧分为不同的运动层次，使不同层次光流映射分离，互不影响，缓解了画面扭曲等问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明