[发明专利]一种基于惯导信息的电子稳像方法

说明书

技术领域

本发明涉及数字信号处理领域，具体涉及一种基于惯导信息的电子稳像方法。

背景技术

摄像机在拍摄过程中，如果摄像机未固定在稳定的三角架或其他固定装置上，所拍摄的图像将会出现抖动现象。例如：在飞机航行过程中，由于受到气流的影响而颠簸，机载的可见光或者红外传感器所拍摄图像出现抖动现象；在道路交通监测中，由于易受大风雨雪等自然条件影响，摄像头的晃动也将导致所拍摄图像也非常不稳定；手持相机拍摄的过程中，由于人手的抖动导致所拍摄图像出现晃动都将影响所拍摄视频的观看质量。由于这种随机抖动导致图像中所要关注的目标在显示窗口内来回晃动，这会使观察者产生疲劳感，从而导致误判和漏判，也会给自动化系统对有效信息的提取和应用带来困难。

由此，稳像技术对于提高摄像机的拍摄质量起着至关重要的作用。传统的稳像方式有机械稳像、光学稳像、还有电子稳像。前两种稳像方式都需要借助复杂的硬件实现，机械稳像对大幅度剧烈运动可起到较好稳像效果，但是由于设备的摩擦等因素，精度不高，稳定效果还需要进一步处理。而光学稳像技术只能补偿轻微的抖动，而且只有在平行光下才能达到较好的效果，应用场合受到极大地限制。电子稳像技术以其不依赖复杂的外部硬件，应用灵活广泛而备受关注。但是，传统的电子稳像也存在很大的技术瓶颈，传统电子稳像的方法都是单纯利用图像信息对所拍摄的视频图像进行稳像处理，但是由于场景过于复杂，则会导致稳像失效。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的目的在于提出一种附加设备简单、运算精度高的电子稳像方法。

根据本发明实施例的基于惯导信息的电子稳像方法，包括以下步骤：A、提取视频中的每帧图像的特征点；B、对相邻两帧图像的所述特征点进行匹配，并求取匹配成功的特征点对的运动信息；C、将所述匹配成功的特征点对代入全局运动模型并进行拟合，并判断拟合程度是否达到预定阈值，若达到预定阈值则直接进入到步骤E，若未达到预定阈值则进入到步骤D；D、根据惯导测量参数计算惯导预测运动信息，参照所述惯导预测运动信息对所述匹配成功的特征点对进行校验，提取出符合惯导预测运动信息的特征点对；E、将所述符合惯导预测运动信息的特征点对的运动信息与惯导预测运动信息进行融合，并进行运动滤波，获得摄像机的抖动位移分量；F、利用相邻两帧图像的所述特征点对的坐标对应关系，求取相邻两帧旋转分量，并对视频进行运动补偿；以及G、结合所述特征点对的运动信息和惯导预测运动信息对视频的每帧图像进行图像复原处理，提高图像质量。

根据本发明实施例的基于惯导信息的电子稳像方法无需复杂的硬件，提高了运算精度，电子稳像效果好，可适用于解决室内、室外灯移动场景下摄像机或其他摄像设备的不平稳造成的视频图像序列抖动模糊的问题，以及对帧内图像模糊也有一定改善。

另外，根据本发明上述的基于惯导信息的电子稳像方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，采用尺度旋转不变特征变换方法，提取视频中的每帧图像的特征点。

在本发明的一个实施例中，所述步骤B进一步包括：B1.提取相邻两帧图像，当前帧和前一帧分别记为f_c和f_p；B2.对所述f_c和f_p中的特征点进行匹配，匹配成功的特征点对的记为Pair_i，其中i表示匹配的特征点对的序号，i=1,2,…,m，Pair_i包含当前帧的匹配特征点F_ci和前一帧的匹配特征点F_pi；以及B3.计算匹配成功的特征点对Pair_i的运动方向D_i，其中其中下标x,y表示图像上的x和y坐标。

在本发明的一个实施例中，采用随机采样一致性方法，将所述匹配成功的特征点代入全局运动模型并进行拟合，其中，所述全局运动模型满足仿射变换。