[发明专利]一种基于相机定位的图像去模糊方法

说明书

本发明公开了一种基于相机定位的图像去模糊方法。本发明包括两阶段：模糊图像去模糊阶段和去模糊图像特征提取阶段。模糊图像去模糊阶段：本发明利用相机当前帧的模糊图像的深度图像，得到场景的深度信息，进而获得场景点的三维坐标。并利用惯性测量单元(IMU)获得相机运动信息，包括平移和旋转。利用以上数据计算选定区块的模糊核，用模糊核进行反卷积操作，得到去模糊图像。去模糊图像特征提取阶段：该阶段对去模糊处理后的图像进行ORB特征提取，并使用提取的特征进行后续的SLAM过程。本发明仅对选定区块进行去模糊，在一定程度上减少了计算量，提高了运算速度。

技术领域

本发明属于计算机视觉领域，尤其针对曝光时间内相机运动导致的运动模糊，具体涉及一种基于相机定位的图像去模糊方法。

背景技术

在视觉SLAM中，由于在曝光时间内相机的抖动会使得拍摄到的图像中出现模糊现象。运动模糊的存在使得难以对重建的地标执行数据关联以及重建新特征，从而导致SLAM系统定位或重建的失败。

图像去模糊作为图像复原领域的一个重要方向，在现实生活中有着广泛的应用。在SLAM中，图像去模糊后能提供更多的特征，使系统更好的执行数据关联以及重建新特征，在后续帧中能够成功的继续SLAM过程，提高了视觉SLAM对运动模糊的鲁棒性。

近几十年来已经开发出用于消除运动模糊的高质量方法，但是大多数都需要大量的计算，因此很难使用这些方法来恢复视觉SLAM的图像。Fergus等人基于自然图像梯度的统计信息和变分贝叶斯方法，在单幅图的复原中取得了较好的效果，但是参数估计致使速度很慢，而且对有些大模糊核的图复原结果不够稳定。在此基础上，QiShan等人针对振铃效应的产生进行了分析，并提出了全局先验和局部先验，在模糊核估计的准确性和对振铃效应的抑制上都取得了更佳的效果，但算法收敛速度不够快，且参数的设置对结果有较大影响，时间复杂度较大。

本发明主要研究一种基于相机定位的图像去模糊算法，利用深度图像和惯性测量单元(IMU)计算出产生运动模糊的相机运动，进而利用该相机运动对图像区块进行去模糊操作。由于该算法只对图像中区块进行去模糊，计算量小，运算速度明显提高。

发明内容

本发明针对在曝光时间内相机抖动产生的图像模糊，提出一种基于相机定位的图像去模糊方法。

图像去模糊系统主要分为两大阶段：模糊图像去模糊阶段和去模糊图像特征提取阶段。

模糊图像去模糊阶段：

本发明利用视觉SLAM系统的深度相机采集到的深度图像，得到被拍摄场景的深度信息，进而获得场景点的三维坐标。利用惯性测量单元(IMU)获得相机在曝光时间内的运动信息，包括平移和旋转信息。利用以上数据计算选定图像区块的模糊核，再使用模糊核进行Lucy-Richardson反卷积操作，得到去模糊图像。

去模糊图像特征提取阶段：

该阶段对模糊图像去模糊阶段处理后的图像进行ORB特征提取，并使用提取的特征进行后续的SLAM过程。

本发明具体按照以下步骤实施：

步骤1、通过惯性测量单元(IMU)获得产生图像模糊的相机运动轨迹信息，包括平移和旋转信息，进而计算在曝光时间内相机的运动。

步骤2、利用深度相机采集到对应模糊图像的深度图像，对深度图像进行滤波去噪预处理。利用处理后的深度图像得到场景点的深度信息，进而构建场景点的三维坐标L。

步骤3、使用步骤1得到的相机运动信息和步骤2得到的场景点三维坐标L计算选定图像区块的模糊核。

步骤4、利用步骤3得到的模糊核，通过Lucy-Richardson(LR)反卷积算法对选定图像区块进行去模糊。