[发明专利]一种水下机器人实时电子稳像方法

说明书

一种水下机器人实时电子稳像方法，依次包括如下步骤：将获取的图像和对应获取的IMU姿态信息进行时间对准，并且确定时间关系；通过IMU单元检测机器人运动坐标参考系下摆动信息，基于摆动信息估计状态转移矩阵；利用前后帧图像之间的状态转移矩阵，计算得到图像帧间相关性关系；利用滤波方法分离机器人的实际运动信息和随机抖动信息，该方法灵活性高，计算复杂度低，能够实时稳像，并且降低了处理后的视频图像出现局部扭曲变形的问题，进一步提高稳像质量。

技术领域

本发明涉及智能机器人、水下探测领域，具体涉及一种水下机器人实时电子稳像方法。

背景技术

目前，随着科学技术的不断发展以及巨大市场的需求，人们对水下世界的探索欲望越来越强烈，直接促进了水下机器人技术的发展。

水下机器人作为一个复杂的系统，集成了人工智能、水下目标的探测和识别、数据融合、智能控制以及导航和通信各子系统，是一个可以在复杂水下环境中执行各种军用和民用任务的智能化无人平台。由于水下机器人在海事研究和海洋开发中具有远大前景，在未来水下信息获取、精确打击和“非对称情报战”中也有广泛应用，因此水下机器人技术在世界各个国家中都是一个重要和积极的研发领域。

现有的水下摄像方式大都为手持设备拍摄，这样拍摄出的视频时常会出现抖动现象，并且由于水下手持拍摄过程中考虑到拍摄中周期性潜水动作也会产生类似于波纹的周期性扰动存在。针对于专业情况下的水下拍摄，一般借助大型机械消抖装置，这样的装置一般成本高，并且体积大，不易携带。对于现有的水下机器人所搭载的摄像机所采集的画面存在抖动现象，严重的影响了拍摄出视频的质量。特别是，目前消费级水下机器人技术还处于起步阶段，急需能够有效应用在水下机器人上进行视频拍摄的方法。

目前，采用图像处理方法的稳像方法包含实时应用情况和离线处理情况。在实时处理情况下，为了满足实时性的要求，一般只能分析图像帧间相关性在低维度(低自由度)的变换关系，处理后的视频图像局部会出现扭曲，变形问题。在离线处理情况下，一般提取比较复杂的图像特征，或者分块提取图像特征，然后估计高维度的变换关系，这样可以减少处理后的视频图像的局部扭曲问题，但是复杂度越高，提取图像特征时越容易受到噪声的影响，提取的运动状态具有的稳定性越差，且只能应用在离线处理情况，无法满足实时性的需求。

此外，直接采用Kalman滤波算法，滑动均值滤波算法或其他平滑滤波算法来估计机器人的实际运动，不区分机器人不同运动状态，容易在机器人处于悬停状态时，消抖效果不理想；直接通过获取惯性测量单元IMU(Inertial Measurement Unit,IMU)传感器获取机器人的随机抖动信息，由于IMU测量的信息中本身就含有测量噪声，如果考虑到环境因素对传感器的影响，那么还可能受到环境噪声的影响，所以直接通过IMU模块获取运动状态的信息是不准确的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种水下机器人实时电子稳像方法，灵活性高，计算复杂度低，能够实时稳像，并且降低了处理后的视频图像出现局部扭曲变形的问题，进一步提高稳像质量。

本发明提供了一种水下机器人实时电子稳像方法，依次包括如下步骤：

(1)将获取的图像帧和对应获取的IMU姿态信息进行时间对准，并且确定不同传感器获取信息的时间一致性；

(2)通过IMU传感器单元检测机器人运动坐标参考系下摆动信息，基于摆动信息估计机器人旋转矩阵R，其中，摆动信息为俯仰、翻滚和航偏三个方向的摆动信息中的一种、两种或三种；

(3)利用(2)中的旋转矩阵R，和前后帧图像之间特征点的匹配关系，估计帧间的相对状态转移矩阵d，进而得到相对于起始帧的全局运动位置状态。

(4)利用滤波方法对机器人各轴向的全局位置曲线进行滤波处理，分离机器人的实际意图运动信息和随机抖动信息；