[发明专利]一种基于特征轨迹的交通视频去抖方法

说明书

本发明涉及一种基于前景和背景特征轨迹的交通视频去抖算法。交通视频比一般的手持设备摄录视频具有更大的挑战性，包括更高频率的视频抖动，更多的前景物体，更大遮挡，以及更加严重的视差。本发明将交通视频的消抖问题看成相机路径的平滑问题。利用所有的前景和背景特征轨迹进行相机运动的估计，通过基于时间和空间的优化函数进行相机路径的平滑处理。本发明提出的方法不需要区分前景和背景轨迹，因此不会引入这一步骤所带来的误差。更加全面的估计也有效地减小了仅利用背景信息进行去抖和仿射估计导致的误差以及前景、视差处的失真。该算法在处理存在大前景和严重视差的交通视频时的性能改善尤其明显。

技术领域

本发明涉及一种基于前景和背景特征轨迹的交通视频去抖算法，计算机视觉，视频去抖。

背景技术

近些年来，越来越多的摄像机被应用于现实生活中的各种场景，其中包括大量的便携可移动的摄像设备，手持设备和车载设备由于人为抖动或者发动机的抖动导致了摄录的视频质量的大幅度下降，剧烈的抖动造成了人感官上的不适。交通视频和一般的手持设备摄录视频相比具有一些特殊性：第一，剧烈的车辆抖动导致交通视频具有更高频率的抖动；第二，交通视频中具有更多的前景运动；第三，交通视频中很容易产生大前景物体遮挡的问题。

目前进行交通视频去抖的研究比较少，【1,2】利用了路面白线等一些先验知识进行去抖，A.Broggi【3】等使用分块的方式进行水平和垂直方向的运动估计，【4】使用反馈的方式将前景和背景轨迹进行区分，并仅针对背景轨迹进行去抖。这些方法在前景物体遮挡严重时容易造成去抖算法的失效。因此人们也倾向于使用针对手持设备摄录视频进行去抖的方法进行交通视频的去抖。

普通的手持设备摄录视频去抖方法大致分为三类，2D,2.5D和3D方法。2D方法通常使用帧间矩阵序列进行相机运动的建模然后进行平滑【5,6,7】。平滑方法包括高斯低通滤波【8】，粒子滤波【9】，正则化技术【10】等。3D方法对于视差的处理效果更好，通过运用运动恢复结构(Structure from Motion,SfM)进行相机路径的估计【11】，然后利用内容保持的扭曲变换(content-preserving warping)【12】进行平滑轨迹的重建。但3D方法耗时严重，并且当视差不明显时容易造成算法失效。2.5D方法结合了2D算法和3D算法的优势，Lee【13】首先提取特征轨迹，然后进行轨迹的平滑处理。Liu【14】使用子空间约束【15】进行平滑轨迹的生成。Liu【16】使用帧间变换建立约束并使用steadyflow进行运动的平滑。

以上方法主要针对背景进行相机运动的估计和平滑，因此对于前景物体遮挡严重的交通视频适用性不强，本发明通过对前景和背景同时施加约束，利用全图信息进行相机运动估计，因此增强了针对交通视频的去抖能力。

【1】Zhang Y,Xie M,Tang D.A central sub-image based global motionestimation method for in-car video stabilization[C]//Knowledge Discovery andData Mining,2010.WKDD'10.Third International Conference on.IEEE,2010:204-207.

【2】Zhang Y,Xie M.Robust digital image stabilization technique for carcamera[J].Information Technology Journal,2011,10(2):335-347.

【3】Broggi A,Grisleri P,Graf T,et al.A software video stabilizationsystem for automotive oriented applications[C]//Vehicular TechnologyConference,2005.VTC 2005-Spring.2005IEEE 61st.IEEE,2005,5:2760-2764.