[发明专利]一种基于参考帧优选和前后景分离的视频稳像运动估计方法

说明书

本发明公开了一种基于参考帧优选和前后景分离的视频稳像运动估计方法，用于解决运动矢量估计不准确影响稳像处理后的效果问题。首先以相邻帧优先为原则进行参考帧选取优化，而后通过网格聚类和密度聚类算法融合的方式对视频帧中的特征点进行聚类和初步的筛选。然后利用随机抽样一致性算法求取最优单应矩阵，结合透视投影变换求出特征点对之间的距离。根据距离准则剔除不满足预设条件的特征点对得到提纯后的特征点对。最后将获得准确的背景特征点对用于计算全局运动矢量。本发明公开的视频稳像运动估计方法有效去除前景对于运动估计的影响并提高了估计出的全局运动矢量精度，达到提升稳像修复效果，能广泛应用于不同拍摄设备所摄视频的稳像修复。

技术领域

本发明属于视频图像处理技术领域，涉及一种视频稳像运动估计方法，可广泛应用于移动拍摄设备中。

背景技术

随着拍摄设备的日益广泛以及拍摄平台的多样化，生活中已经随处可见各种摄影摄像设备。这些设备采集的视频不可避免的会存在一些抖动，不利于人工观测也不利于后续视频图像处理。视频稳像的主要目的是对视频中的由于外部因素干扰或自身移动性带来的抖动、模糊等进行矫正和消除，改善视频质量和观赏感受。稳像技术可用于科研测绘、执法记录仪、手机相机等领域，其灵活性高、成本低、易维护等优势使得视频稳像技术具有乐观的商业价值和广泛的应用前景。

视频稳像技术包含运动估计、运动滤波和运动补偿三部分，运动估计作为核心部分需要从有前景等因素干扰下估算出摄像载体的全局运动矢量。近年来研究人员已经提出了不少运动估计算法，主要分为基于特征和基于强度这两大类的方法。基于特征的算法的精度依赖于视频的质量，诸如噪声、模糊等视频质量不佳的条件可能导致运动矢量估计失败。基于强度的方法不依赖于点或边等特征，通常通过以块为单位或全区域考虑整个图像的灰度来估计全局运动。基于特征的方法通常比基于强度的方法更精确，但也更容易产生局部效应。因此，需要一种能准确去除前景影响、能准确计算出全局运动矢量的运动估计算法，以获得较好的视频稳像修复效果。

发明内容

本发明的目的是为了解决现有的技术方案中存在的参考帧选择随意、无法有效去除前景点影响导致运动估计环节计算出的全局运动矢量不准确等问题，提出了一种基于参考帧优选和前后景特征点分离的运动估计方法，该方法包括：

(1)在相邻参考帧选取基础上，结合清晰度、相似度以及特征点匹配有效对数自适应选取合适的参考帧；

(2)对视频帧网格状划分，以网格为单元利用密度聚类算法对当前帧的特征点进行聚类并剔除部分噪声点；

(3)通过随机抽样一致性算法计算出当前帧和参考帧对应的最优单应矩阵，去除部分误匹配；

(4)将计算出的最优单应矩阵带入透视投影变换计算对应特征点之间的距离，并依据距离准则进行最终筛选和剔除；

(5)最终留下的特征点对用于计算全局运动矢量。

较佳地，所述的步骤(1)具体为：

(1-1)计算出相邻帧p_t-1的清晰度值F_t-1；

(1-2)将计算出的清晰度值F_t-1与清晰度阈值C进行比较，若清晰度值F_t-1大于阈值C则更新当前相邻帧p_t-1为参考帧并跳出步骤结束流程，否则继续进行步骤(1-3)；

(1-3)计算当前帧p_t与参考帧p_i背景特征点对有效匹配对数值L_t及有效匹配点数与当前帧所有特征点数的比值τ；

(1-4)若有效对数值L_t大于匹配阈值Q且比值τ大于相似度阈值S则维持当前参考帧p_i为参考帧不变并结束流程，否则进行步骤(1-5)；