[发明专利]一种视频稳像方法及装置

权利要求书

1.一种视频稳像方法，该方法包括：

利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角，所述摄像头包括CMOS传感器；

建立陀螺仪累积位姿列表，所述陀螺仪累积位姿列表包括陀螺仪角速度采集时刻及与所述陀螺仪角速度采集时刻对应的累积位姿；

读取待处理的帧图像，所述帧图像包括帧缓存、各像素行的读取时刻，根据所述夹角和所述陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿；

根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正；

对校正后的摄像头的累积位姿进行平滑处理；

其中，利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角的步骤包括：提取测试视频中的各帧的尺度不变特征变换特征点并对前后两帧的特征点进行匹配，采用随机抽样一致法筛选出置信度较高的特征点匹配对，得到特征点匹配对集合，基于摄像头成像模型并利用非线性最优化算法迭代求解摄像头的内参K、摄像头与陀螺仪之间的夹角A，其中，摄像头成像模型是，X为世界坐标系中的Y点经过平移t和旋转R后在摄像头中的成像坐标；相邻的第n-1帧和第n帧中第m个匹配点的关系为：，其中，，和分别表示第n-1帧和第n帧所对应时刻摄像头的旋转矩阵，和分别表示第n-1帧和第n帧所对应时刻陀螺仪的旋转矩阵。

2.根据权利要求1所述的视频稳像方法，其特征在于，采用如下公式，计算陀螺仪角速度采集时刻对应的累积位姿：

其中，pose_gyro_i表示角速度采集时刻t_gyro_i陀螺仪的累积位姿，pose_gyro_i-1表示角速度采集时刻t_gyro_i-1陀螺仪的累积位姿，ωx_i-1表示角速度采集时刻t_gyro_i-1陀螺仪x轴角速度，ωy_i-1表示角速度采集时刻t_gyro_i-1陀螺仪y轴角速度，ωz_i-1表示角速度采集时刻t_gyro_i-1陀螺仪z轴角速度，update为一阶龙格库塔四元数微分算法。

3.根据权利要求2所述的视频稳像方法，其特征在于，采用如下公式，估算各像素行读取时刻摄像头的累积位姿：

其中，表示第j帧图像第y行像素的读取时刻，t_gyro_near与t_gyro_near+1表示距离最近的前后两次陀螺仪角速度的采集时刻，表示时刻摄像头的累积位姿，pose_gyro_near表示t_gyro_near时刻陀螺仪的累积位姿，pose_gyro_near+1表示t_gyro_near+1时刻陀螺仪的累积位姿，slerp表示四元数球面插值算法，A表示摄像头与陀螺仪之间的夹角。

4.根据权利要求1所述的视频稳像方法，其特征在于，采用如下公式，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正：

其中，表示第j帧图像第y行像素相对于该帧第1行像素的相对位姿，表示第j帧图像第y行像素摄像头的累积位姿的逆，表示第j帧图像第一像素行读取时刻摄像头的累积位姿。

5.根据权利要求1所述的视频稳像方法，其特征在于，采用基于匀速模型的无损卡尔曼滤波对校正后的摄像头的累积位姿进行平滑处理。

6.根据权利要求1所述的视频稳像方法，其特征在于，还包括采用球面插值算法对经过平滑处理之后的摄像头的累积位姿进行约束和调整。

7.根据权利要求6所述的视频稳像方法，其特征在于，还包括将采用逆向映射方法并结合摄像头位姿调整量的逆对原始帧图像进行裁剪输出，获得稳像后的帧图像。