[发明专利]一种基于惯性感知的视频防抖系统及其工作方法

说明书

本发明公开了一种基于惯性感知的视频防抖系统及其工作方法。该方法首先使用惯性传感器来追踪相机的旋转，然后通过追踪视频帧中特征点的坐标变化，进一步地估计相机的平移。通过惯性‑视觉融合，该方法能够准确、鲁棒地估计相机的运动，并降低计算开销。然后基于Android智能设备，本发明设计并实现了一个实时的视频防抖系统。在系统实现过程中，本发明采用多线程优化技术来降低视频防抖的处理时间。最终在Android移动设备上，实现了实时的视频防抖系统，并且很好地满足用户对视频防抖的需求。

技术领域

本发明属于惯性感知和视频处理技术领域，具体涉及一种基于惯性感知的视频防抖系统及其工作方法。

背景技术

现在越来越多的人选择使用移动智能设备来拍摄视频，记录并分享精彩的时刻。但是当我们在运动的同时拍摄视频，我们会发现拍摄的视频经常会出现抖动的情况，这就导致了视频的质量大大降低。为此，视频防抖技术被广泛地研究。目前视频防抖技术通常分为两类：基于硬件设备的视频防抖技术及基于软件算法的视频防抖技术。其中基于硬件的视频防抖技术主要有：专业的Steadicam系统、手持稳定器以及光学防抖技术。这类视频防抖技术一般需要额外的设备，并且成本较高。对于基于软件算法的视频防抖技术，主要分为三个部分：估计相机的运动、通过平滑相机运动来消除不期望的抖动以及通过视频帧变换来得到稳定的视频。在这三个过程中，相机运动估计是最重要的，它是后续运动抖动消除、视频帧变换的关键前提。

通常，相机运动估计的方法分为两类：基于惯性测量的方法和基于计算机视觉的方法。其中，

基于惯性测量的方法主要是使用移动智能设备中配置的惯性传感器来持续追踪设备的3D运动。这类方法的计算效率很高，而且不受拍摄场景、运动速度太快的影响。但是这类方法主要关注于相机的旋转运动，而忽视相机的平移运动。这是因为惯性传感器中的陀螺仪采集的数据是设备的旋转速度(即角速度)，因此可以通过对角速度数据进行一次积分来比较准确地计算相机的旋转。而惯性传感器中的加速度计采集的是设备的加速度数据，在计算平移运动时，由于加速度二次积分会累计巨大的误差，往往不能准确地追踪相机的平移。

对于基于计算机视觉的方法，这类方法通常是在视频帧之间使用运动恢复结构技术(structure-from-motion)来估计相机的3D运动。这类方法往往可以准确地估计相机的运动，但是它们的计算成本很高，而且计算精度很依赖于拍摄场景。当拍摄场景的光照条件很差或者前景运动很多时，这类方法的精度会下降很多。考虑到这两类方法各自的优缺点，目前有一些基于惯性-视觉传感器融合的方法。这类方法通过扩展卡尔曼滤波器或者构建非线性优化模型来融合惯性和视觉测量，进而补偿惯性传感器在平移估计中的不足，以及计算机视觉方法对拍摄场景、快速运动的敏感，最终可以准确、鲁棒地估计相机的运动。但是，这类方法在使用扩展卡尔曼滤波器或者非线性优化模型来融合惯性和视觉测量时，计算开销很大，通常不能满足实时视频防抖的需求。

因此，基于上述考虑，有必要提出一种轻耦合的惯性-视觉融合方法，不仅可以补偿惯性传感器在平移估计中的不足，以及计算机视觉方法对拍摄场景、快速运动的敏感，而且可以减少由滤波器或者非线性优化产生的计算开销，满足实时视频防抖的需求。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于惯性感知的视频防抖系统及其工作方法，以解决现有技术不能准确、鲁棒地估计相机运动，以及计算开销太大的问题。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于惯性感知的视频防抖系统，包括：相机运动估计模块、相机运动平滑模块及视频帧变换模块；其中，

相机运动估计模块，根据陀螺仪采集的角速度数据以及相机拍摄的视频，估计相机的3D旋转和平移，得到原始相机运动轨迹；

相机运动平滑模块，对上述相机运动估计模块得到的原始相机运动轨迹进行平滑，消除在运动过程中出现的抖动部分，得到平滑相机运动轨迹；