[发明专利]一种视频稳像方法及装置

说明书

本发明提供一种视频稳像方法，该方法包括：利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角，所述摄像头包括CMOS传感器；建立陀螺仪累积位姿列表，所述陀螺仪累积位姿列表包括陀螺仪角速度采集时刻及与所述陀螺仪角速度采集时刻对应的累积位姿；读取待处理的帧图像，所述帧图像包括帧缓存、各像素行的读取时刻，根据所述夹角和所述陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿；根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正；对校正后的摄像头的累积位姿进行平滑处理。

技术领域

本发明涉及视频处理领域，尤其涉及一种视频稳像方法及装置。

背景技术

随着手机的普及和性能的不断提升，无需专业摄像设备也能拍摄出高质量的视频。然而在拍摄的过程中经常会由于手部的抖动而输出不稳定的视频，将会导致视频的观看效果不佳，或者不利于视频的后期处理。视频稳像技术的目的在于消除视频中的抖动分量，形成较为稳定的视频输出。

稳定视频图像的基本方法可以分为三类：光学稳像、机械稳像和电子稳像。光学稳像需要精密的光学仪器而导致成本过高，一般只装配在专业摄像设备或高端手机上。电子稳像受环境、光照影响较大，鲁棒性较差，且难以实时地解决互补金属氧化物半导体图像传感器(Complementary Metal Oxide Semiconductor，CMOS)产生的果冻效应(Rollingshutter effect)，一般被用于视频后期处理。机械稳像通过陀螺仪等传感器元件检测摄像头的抖动，然后对拍摄的视频图像进行纠正和补偿而达到稳定图像的目的。由于陀螺仪传感器造价低廉、不易受环境因素影响、且实时性较好，大部分手机厂商普遍采用机械稳像来稳定视频输出。

然而，陀螺仪会存在较大的偏差，使得稳像后的视频以固定角度倾斜或以固定角速度旋转。为了解决该问题，在进行视频稳像之前或手机开机时需要对陀螺仪进行校准，等待陀螺仪校准将会降低用户体验，并且在长时间拍摄后陀螺仪仍会出现累积偏差，造成稳像效果不佳。

发明内容

本发明要解决的技术问题是提供一种视频稳像方法及装置，以消除CMOS摄像头的果冻效应，实时地输出准确稳定的视频图像。

为解决上述技术问题，本发明的一方面提供了一种视频稳像方法，该方法包括：利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角，所述摄像头包括CMOS传感器；建立陀螺仪累积位姿列表，所述陀螺仪累积位姿列表包括陀螺仪角速度采集时刻及与所述陀螺仪角速度采集时刻对应的累积位姿；读取待处理的帧图像，所述帧图像包括帧缓存、各像素行的读取时刻，根据所述夹角和所述陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿；根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正；对校正后的摄像头的累积位姿进行平滑处理。

在本发明的一实施例中，利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角的步骤包括：提取测试视频中的各帧的尺度不变特征变换特征点并对前后两帧的特征点进行匹配，采用随机抽样一致法筛选出置信度较高的特征点匹配对，得到特征点匹配对集合，基于摄像头成像模型并利用非线性最优化算法迭代求解摄像头的内参、摄像头与陀螺仪之间的夹角。

在本发明的一实施例中，采用如下公式，计算陀螺仪角速度采集时刻对应的累积位姿：

pose_gyro_i＝update(pose_gyro_i-1，ωx_i-1，ωy_i-1，ωz_i-1，t_gyro_i-t_gyro_i-1)