[发明专利]一种基于惯性感知的视频防抖系统及其工作方法

权利要求书

1.一种基于惯性感知的视频防抖系统，其特征在于，包括：相机运动估计模块、相机运动平滑模块及视频帧变换模块；其中，

相机运动估计模块，根据陀螺仪采集的角速度数据以及相机拍摄的视频，估计相机的3D旋转和平移，得到原始相机运动轨迹；

相机运动平滑模块，对上述相机运动估计模块得到的原始相机运动轨迹进行平滑，消除在运动过程中出现的抖动部分，得到平滑相机运动轨迹；

视频帧变换模块，根据上述原始相机运动轨迹和平滑相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧；

所述相机运动平滑模块进行的相机平移估计，在相邻视频帧之间追踪特征点，并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移；

所述相机平移估计的计算平移方法为：

a.对于视频的每个图像帧，提取ORB特征点，然后在相邻视频帧之间，记为(I_i，I_i+1)，通过特征点匹配来得到匹配的特征点对，记为(P_j，i，P_j，i+1)，其表示同一个3D目标点P_j分别在相邻视频帧I_i和I_i+1上的投影点；

b.对于匹配的特征点对(P_j，i，P_j，i+1)，特征点P_j，i和P_j，i+1之间的坐标满足对极约束关系；对极约束的几何意义是P_j，P_j，i，P_j，i+1三点共面，并且包含了相机的旋转和平移，即，P_j，i+1K^-T[T_i，i+1]_×R_i，i+1K^-1P_j，i＝0；其中，P_j，i+1和P_j，i分别表示对应特征点的像素坐标，通过特征点的提取和匹配得到；K表示相机的内参数矩阵，通过预先的相机标定工具计算得到；R_i，i+1表示相邻视频帧之间的相对旋转；T_i，i+1表示相邻视频帧之间的相对平移；

c.通过相机旋转估计，计算得到相对旋转R_i，i+1，并将计算得到的R_i，i+1代入到对极约束等式中，此时该等式中唯一的未知项是T_i，i+1，其中有3个未知参数，即分别表示在x轴、y轴及z轴上的平移；

d.使用多个匹配的特征点对来构建方程组，该方程组由多个对极变换等式构成；由于有3个未知参数，因此要求等式的数量大于等于3，即需要3个以上的特征点对；然后通过最小二乘法求解该方程组，计算得到这三个参数，即计算得到了相邻视频帧之间的相对平移T_i，i+1。

2.根据权利要求1所述的基于惯性感知的视频防抖系统，其特征在于，所述相机运动估计模块进行的相机旋转估计，以50-200Hz的频率采集陀螺仪数据，获取设备的角速度数据，对采集到的角速度数据通过积分得到设备的旋转；然后基于设备局部坐标和相机坐标系之间的转换，根据设备的旋转推导出相机的旋转，其中旋转使用旋转矩阵来表示，记为R。

3.根据权利要求1所述的基于惯性感知的视频防抖系统，其特征在于，所述生成一个新的视频帧具体为：将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。