[发明专利]一种用于摄录设备的高速多路实时稳像方法

说明书

本发明公开了一种用于摄录设备的高速多路实时稳像方法，涉及图像处理领域，该方法包括以下步骤：建立按时间线缓存的视频帧队列，所述视频帧队列包括n帧按拍摄时间先后顺序排列的图像，将n帧图像灰度化，计算得到的首帧图像的强角点，其他帧相对首帧进行光流计算得到强角点的对应点，帧间全局运动矢量估计，选用Affine仿射变换运动模型表征视频帧间的运动，采用RANSAC算法进行随机采样，得到n帧相邻图像的运动变换矩阵，通过帧间Kalman运动滤波获取意向运动，通过仿射变换矩阵的计算方法获取稳像结果，进行视频帧补偿，输出稳像结果。本发明成本较低，且计算效率较高。

技术领域

本发明涉及图像处理领域，具体涉及一种用于摄录设备的高速多路实时稳像方法。

背景技术

摄录设备(如手机)在拍摄视频时，会因为机械振动或肌肉颤动等原因造成视频采集设备的载体发生不规则运动，尤其是在使用高倍放大的镜头时，轻微的机械震动会引起图像的剧烈抖动，抖动的视频序列会导致诸多不良后果：人工观测困难，极易引起视觉疲劳，导致后期的误判和漏判，由于图像细节不能清晰地表达真实场景，导致后期图像处理难度较大；压缩比降低，导致视频采集后端的存储空间开销变大；运动目标的跟踪识别困难，极易导致目标的丢失。因此，数字稳像技术的研究具有重要的现实意义。

当前视频稳像技术分为四类：物理稳像、光学稳像、电子稳像和数字稳像，数字稳像由于不依赖于任何额外的机械设备和光学元件，在体积、能耗、操作性等方面都远远优于物理稳像、光学稳像、电子稳像技术，成为视频稳像领域的重点研究方向。

数字视频稳像在应用时，主要存在以下挑战：实时性和去抖动质量，由于实时性和去抖动质量之间存在一定的制约关系，难以取得较好的平衡。

为提高视频的去抖动质量，Matthias Grundmann等提出了基于电影拍摄美学原则的视频稳像方法：按照约束的L1最小化方法将原始杂乱的相机运动路径优化为恒定路径(固定摄像机)、恒定匀速路径(平移或安装在推车上的摄像机)和恒定加速度的路径(上面两种路径之间的转化)三个部分，通过该方法稳像后的视屏质量较好，视觉观赏效果较好，但是存在视频帧裁剪尺寸较大，无法实时在线视频稳像的缺陷。

针对实时性的缺陷，Liu Shuaicheng等人提出的MeshFlow的运动场与经验性权重因子结合的自适应相机路径优化策略，该算法虽然能够有效提高实时性，但是稳像质量较低，尤其是当视频存在卷帘效应或者视频中存在较大遮挡物时，视觉效果较差。

电子产品中对实时视频稳像的应用需求较旺盛，但是，目前的稳像方案均存在输出质量与价格难以兼顾的问题，如4G执法记录仪等摄录终端，随着执法人员的剧烈运动，在视频拍摄中会不可避免的出现抖动，而光学、机械稳像的方式会显著提高移动终端的功耗、体积和重量，从而需要配置更多的电池和相应的设施，导致成本较高，移动难度较大，在实时远程视频集中式执法监督过程中难以使用。

实时数字视频稳像存在单指令流多数据流计算密度较大的问题，使用时通常进行串行顺序处理，效率较低，难以满足实时性需求。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种用于摄录设备的高速多路实时稳像方法，成本较低，且计算效率较高，能够满足实时性需求。

为达到以上目的，本发明采取的技术方案是：

一种用于摄录设备的高速多路实时稳像方法，包括以下步骤：

S1、建立按时间线缓存的视频帧队列，所述视频帧队列包括n帧按拍摄时间先后顺序排列的图像；

S2、将n帧图像灰度化；

S3、通过Good Features to Track强角点搜索算法计算得到的首帧图像的强角点；

S4、其他帧相对首帧进行光流计算得到强角点的对应点；