[发明专利]介导现实中自动视频插帧补偿方法及系统

说明书

本发明提出了一种介导现实中自动视频插帧补偿方法和系统，包括：采用3D深度摄像头采集显示中的实景图像；视景图像处理计算机将所述3D深度摄像头采集的实景图像和虚拟场景图像进行融合；获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值，如果是则存储融合后的两帧视频数据f_n‑1和f_n，对上述两帧数据进行8x8的双向搜索加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是，则利用4x4像素运动矢量线性插值得到初始内插帧，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波。本发明有效的改善运动矢量的计算因块分割造成的方块效应，极大地提高了运动矢量的准确性。

技术领域

本发明涉及图像处理技术领域，特别涉及一种介导现实中自动视频插帧补偿方法及系统。

背景技术

混合现实技术中引擎在不接入虚拟现实头盔的情况下，视频的刷新频率能够满足观看的需求(不产生头晕的感觉)。在配置稍低一些的机器上接入虚拟现实头盔，基本就会出现视频刷新频率降到到40帧左右(低于人眼观看的最低舒适帧率60帧的情况)。虚拟现实头盔是实现沉浸式体验的必要设备，佩戴头盔后的视频刷新频率的高低直接影响产品的最终效果。为了达到较好的产品体验，必须对低于60帧的视频帧率进行插帧补偿，以达到良好的沉浸式体验。

混合现实技术现在处于发展的早期阶段，目前还未发现对混合现实中出现的低于最低舒适帧的这种问题进行研究和解决。在显示领域，帧率转换技术是使用原始的低帧率视频源生成一些中间内插帧，然后插入到原有的视频序列中，使其变为高帧率的视频以满足现实生活中的需求，如高清电视和远程教学等。帧率向上转换分为非运动和运动补偿插帧，非运动补偿插帧适用于场景静止或者运动不大的场景。运动补偿类算法适合于快速运动场景。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种介导现实中自动视频插帧补偿方法及系统。

为了实现上述目的，本发明一方面的实施例提供一种介导现实中自动视频插帧补偿方法，包括如下步骤：

步骤S1，采用3D深度摄像头采集显示中的实景图像；

步骤S2，视景图像处理计算机将所述3D深度摄像头采集的实景图像和虚拟场景图像进行融合；

步骤S3，获取引擎刷新频率，判断该引擎刷新频率是否低于预设帧率阈值，如果是则存储融合后的两帧视频数据f_n-1和f_n，对上述两帧数据进行8x8的双向搜索加权运动估计并进行平滑滤波，判断是否满足匹配条件，如果是是否满足匹配条件，如果是，则执行步骤S4，否则将8x8块拆分为4x4块继承上一级运动估计的结果并进行平滑滤波，在此判断是否满足匹配条件，如果是则执行步骤S4，否则执行步骤S5；

步骤S4，生成4x4块运动矢量，利用4x4像素运动矢量线性插值得到初始内插帧；

步骤S5，生成修补遮罩图，对内插帧中的空洞使用快速行进的修复算法进行图像修补补偿，得到最终的内插帧f_n-1/2；

步骤S6，将内插帧输出到虚拟现实设备，最终输出到人眼中，实现虚拟融合效果。

进一步，所述视景图像处理计算机利用该采集图像替换虚拟场景中指定位置的贴图，以实现虚实融合。

进一步，设置匹配预测误差门限阈值为th_SAD,使用8x8块双向搜索加权运动估计，得到当前帧的初始运动矢量，采用边界绝对误差和绝对误差和作为块边界的度量的加权测量准则，计算公式如下：

v＝argminv(SAD(v)+μ*BAD(v))

其中，v＝(vx,vy)即为求解的运动矢量，μ为加权系统用于控制SAD和BAD所占权重，μ＝0.75。