[发明专利]视频插帧方法、装置、设备以及存储介质

说明书

本申请公开了一种视频插帧方法、装置、设备以及存储介质，涉及计算机视觉、深度学习等人工智能领域。该方法的一具体实施方式包括：分别抽取目标视频中的第t帧图像和第t+1帧图像的深层特征；基于第t帧图像和第t+1帧图像的深层特征，计算第t帧图像和第t+1帧图像之间的运动差异深层特征；基于第t帧图像和第t+1帧图像之间的运动差异深层特征，计算插帧数；分别抽取第t帧图像和第t+1帧图像的深层插帧特征；基于第t帧图像和第t+1帧图像的深层插帧特征，以及插帧数，生成第t帧图像和第t+1帧图像之间的插帧，并插入第t帧图像和第t+1帧图像之间。该实施方式对于移动端的直播视频实现了实时视频插帧。

技术领域

本申请实施例涉及计算机领域，具体涉及计算机视觉、深度学习等人工智能领域，尤其涉及视频插帧方法、装置、设备以及存储介质。

背景技术

随着视频直播业务的兴起，服务器分发带宽成本成为直播服务提供商的主要成本。为了减少带宽成本，一种最直接的方式是分发帧率视频，但是这种方式与60FPS(FramesPer Second，每秒传输帧数)、120FPS的高帧率视频观感体验差距很大。视频插帧技术可以在视频帧之间插入中间帧，增加视频帧率，使视频观看起来更加顺畅，从而减少跳跃、抖动等现象的发生，极大地提升了用户体验。

发明内容

本申请实施例提出了一种视频插帧方法、装置、设备以及存储介质。

第一方面，本申请实施例提出了一种视频插帧方法，包括：分别抽取目标视频中的第t帧图像和第t+1帧图像的深层特征，其中，t为正整数；基于第t帧图像和第t+1帧图像的深层特征，计算第t帧图像和第t+1帧图像之间的运动差异深层特征；基于第t帧图像和第t+1帧图像之间的运动差异深层特征，计算插帧数；分别抽取第t帧图像和第t+1帧图像的深层插帧特征；基于第t帧图像和第t+1帧图像的深层插帧特征，以及插帧数，生成第t帧图像和第t+1帧图像之间的插帧，并插入第t帧图像和第t+1帧图像之间。

第二方面，本申请实施例提出了一种视频插帧装置，包括：第一抽取模块，被配置成分别抽取目标视频中的第t帧图像和第t+1帧图像的深层特征，其中，t为正整数；第一计算模块，被配置成基于第t帧图像和第t+1帧图像的深层特征，计算第t帧图像和第t+1帧图像之间的运动差异深层特征；第二计算模块，被配置成基于第t帧图像和第t+1帧图像之间的运动差异深层特征，计算插帧数；第二抽取模块，被配置成分别抽取第t帧图像和第t+1帧图像的深层插帧特征；插帧模块，被配置成基于第t帧图像和第t+1帧图像的深层插帧特征，以及插帧数，生成第t帧图像和第t+1帧图像之间的插帧，并插入第t帧图像和第t+1帧图像之间。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。