[发明专利]一种水下机器人实时电子稳像方法

权利要求书

1.一种水下机器人实时电子稳像方法，其特征在于，依次包括如下步骤：

(1)将获取的图像帧和对应获取的IMU姿态信息进行时间对准，并且确定不同传感器获取信息的时间一致性；

(2)通过IMU传感器单元检测机器人运动坐标参考系下摆动信息，基于摆动信息估计机器人旋转矩阵R，其中，摆动信息为俯仰、翻滚和航偏三个方向的摆动信息中的一种、两种或三种；

(3)利用(2)中的旋转矩阵R，和前后帧图像之间特征点的匹配关系，估计帧间的相对状态转移矩阵d，进而得到相对于起始帧的全局运动位置状态；

(4)利用滤波方法对机器人各轴向的全局位置曲线进行滤波处理，根据运动方程进行运动补偿和抖动消除；

(5)在各运动轴向上，根据滤波后的平滑曲线与全局位置曲线在每帧的位移差，反向移动当前帧的位置，来抵消位移差，实现消抖的目的，最终对图像边沿进行剪切，消除每帧移动产生的空白区域；

其中，所述步骤(3)中包括获取运动估计方程，其中获取运动估计方程可表示为：X′＝R·X+d＝θ_pitch·θ_roll·X+d，其中，X和X′分别为前后帧图像的状态量，θ_pitch为俯仰摆动和θ_roll为翻滚摆动；

所述步骤(5)中，直接利用相对于初始帧的原全局位置曲线与平滑后的曲线在每帧时的位移差，反向补偿原全局运动。

2.如权利要求1所述的方法，其特征在于：步骤(1)中时间对准是通过在传感器采样的时刻以低采样率为时间参考，或对每次的采样时刻对采样信息贴上系统时间戳，对不同采样信息的时间以时间差最近原则来对齐不同的传感器信息。

3.如权利要求1-2任一项所述的方法，其特征在于：所述步骤(2)具体为：通过IMU单元检测机器人的旋转矩阵R，则有R＝θ_pitch·θ_roll。

4.如权利要求1所述的方法，其特征在于：步骤(3)中计算得到图像帧间相关性关系采用基于灰度模块匹配的方法、基于位图统计的相关性计算方法、基于灰度统计的相关性计算方法、基于光流的相关性计算方法或基于特征的相关性计算方法。

5.如权利要求1所述的方法，其特征在于：所述基于灰度模块匹配的方法具体为：

1)利用特征点检测算法检测左右图像传感器成像焦平面的图像特征点信息，通过特征点描述算子，利用特征点匹配算法进行特征点的匹配；

2)通过已匹配的特征点之间的像素关系推导出特征点在相机坐标系下的三维坐标信息；

3)通过匹配帧间特征点的投影焦平面的像素信息，构建以已匹配特征点为中心的块；

4)通过帧间已匹配的块的匹配信息进一步修正基于像素级的特征点匹配误差；

5)更新帧间已匹配特征点在投影焦平面的位置关系，并利用这种关系推导低维度的帧间图像信息的转换状态。

6.如权利要求1所述的方法，其特征在于：步骤(4)中滤波方法采用分段滤波，滑动均值滤波方法，加权滑动平均方法，限幅滤波方法或粒子滤波方法。

7.如权利要求1所述的方法，其特征在于：为了减小相对于初始帧的全局累积计算和估计误差，可将整个处理视频样本均分为N段，在对每段视频进行消抖的的时候，使得相邻两段视频彼此具有M帧的重合部分，其中M理论上不大于每段的总帧数，对于重合部分采用加权求和的方式进行叠加,后段视频前M帧的权值为1/M,前段视频倒数M帧的权值与后段视频的每帧的权值相加为1，使得前段视频M帧的权值是均匀降低，后段视频M帧的权值是均匀增加。

8.如权利要求4所述的方法，其特征在于：采用但不限于FAST特征点提取算法，也可采用SIFT，SURF，ORB特征点提取算法，BRIEF特征点描述算子，采用直接法匹配特征点，采用RANSAC算法去除误差较大的点，利用最优估计的方式估计帧间相对运动关系。