[发明专利]一种基于RGB-D的环境感知方法及装置

说明书

本发明公开了一种基于RGB‑D的环境感知方法及装置，所述方法包括通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。本发明采用激光雷达数据采集模块和图像数据采集模块同步曝光，在不同的采集频率下采集灰色图和彩色图后，将两种图片进行原始数据层面的融合处理，从而得到亮度改善的环境图片；实现了在各种天气和自然环境下均获得极佳的环境信息。

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种基于RGB-D的环境感知方法及装置。

背景技术

在计算机、人工智能和机器视觉等技术不断地发展和革新的背景下，相机获取的图像的价值显得越来越大，基于图像的应用也越来越多。典型的应用即是将相机安装在机器人上，不断地获取环境图像，再利用计算机视觉的算法对其进行处理，使得机器人可以像人一样拥有眼睛去观察周围环境。在此基础上，同样可以将相机应用于汽车上来感知汽车周围的环境。

普通的彩色相机均是被动地接收物体发出的光，然后在其图像平面上成像。这种原理下获得的图像容易受光照、阴影、拍摄角度等外在因素的影响，当前的计算机视觉算法对于这种图像的处理并不鲁棒，因此其应用也相应地受到了限制。深度相机借助其自身发出的光，可以主动地感知物体的距离信息，其成像受光照、阴影和拍摄角度的影响较小。

随着ADAS、AD行业不断发展，对于环境感知需求日益强烈，但是受限于诸多因素成本、产业技术现状等。现行产业单目相机存在二项主要局限：1)没有距离信息；2)在光线不足或者复杂气候的应用场景下无法使用。

因此，有必要提供一种基于RGB-D的环境感知方法及装置，旨在于解决当前单目相机在光线复杂的应用场景下的瓶颈问题。

发明内容

为了解决现有技术中相机在光线不足的应用场景下无法获取高亮度图片的技术问题，本发明提供了一种基于RGB-D的环境感知方法及装置。本发明旨在于打破目前现行产业瓶颈，为智能汽车提供更好的环境感知方法和设备。

为了解决上述技术问题，第一方面，本发明提供了一种基于RGB-D的环境感知方法，包括如下步骤：

通过硬件同步机制使激光雷达数据采集模块和图像数据采集模块同步曝光；

所述图像数据采集模块经一次曝光采集环境图片的一张彩色图；同时所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，其中，N≥6；所述激光雷达数据采集模块单次曝光时间小于1ms；

将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片。

进一步地，所述激光雷达数据采集模块经若干次曝光采集环境图片的若干组强度信息，并将其生成N张灰度图，具体包括：

将所述强度信息转化成灰阶信息后生成所述灰度图。

进一步地，采用最大值和均值梯度法，将所述强度信息转化成灰阶信息。

进一步地，所述将所述彩色图与所述N张灰度图进行原始数据层面的融合处理，得到亮度改善的环境图片，具体包括：

将所述彩色图的色彩域转换为YcCbcCrc；

获取转换后彩色图中的低亮度区域，所述低亮度区域是指亮度低于预设阈值的区域；

将所述灰度图中与所述低亮度区域对应部分的亮度信息补充到所述低亮度区域中得到融合后图片；

获取所述融合后图片的属性信息，所述属性信息包括梯度幅值、梯度方向、梯度损失、阴影和噪声；