[发明专利]一种基于RGB-D的环境感知方法及装置

权利要求书

1.一种基于RGB-D的环境感知方法，其特征在于，包括如下步骤：

通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间小于1ms；

所述图像数据采集模块经一次曝光采集环境图片的彩色图，同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息包括：

采集同步曝光的激光点云数据和图像数据；通过所述激光点云数据得到所述强度信息，通过所述图像数据得到所述环境图片的彩色图；对所述激光点云数据进行处理后，将其融合到所述图像数据中，得到环境的距离信息；

将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。

2.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，具体包括：

将所述强度信息转化成灰阶信息后生成所述灰度图。

3.根据权利要求2所述的基于RGB-D的环境感知方法，其特征在于，采用最大值和均值梯度法，将所述强度信息转化成灰阶信息。

4.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片，具体包括：

将所述彩色图的色彩域转换为YcCbcCrc；

获取转换后彩色图中的低亮度区域，所述低亮度区域是指亮度低于预设阈值的区域；

将所述灰度图中与所述低亮度区域对应部分的亮度信息补充到所述低亮度区域中得到融合后图片；

获取所述融合后图片的属性信息，所述属性信息包括梯度幅值、梯度方向、梯度损失、阴影和噪声；

对所述属性信息对应的数据进行自适应平滑处理并基于所述灰度图消除所述融合后图片中的运动模糊；

对所述属性信息对应的数据进行收敛处理。

5.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光，包括：

所述激光雷达数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述图像数据采集模块，所述图像数据采集模块接收所述曝光信号并将所述曝光信号曝光；

或，

所述图像数据采集模块发出曝光信号并将所述曝光信号曝光，同时将所述曝光信号发送给所述激光雷达数据采集模块，所述激光雷达数据采集模块接收所述曝光信号并将所述曝光信号曝光。

6.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块为Flash Lidar，同步曝光过程中，所述激光雷达数据采集模块的采集频率与所述图像数据采集模块的采集频率之比为M：1，其中M≥100；所述图像数据采集模块为相机模块，所述相机模块采用的色卡模式为RGGB、RCCB、RCCC。

7.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块单次曝光时间为50ns-1ms。

8.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块单次曝光时间为1-50ns。

9.根据权利要求1所述的基于RGB-D的环境感知方法，其特征在于，所述激光雷达数据采集模块单次曝光时间小于1ns。