[发明专利]基于3D场景点云的视障人士出行障碍物检测方法

说明书

基于3D场景点云的视障人士出行障碍物检测技术属于电子信息领域。为了向视障人士反馈行走过程中障碍物的准确信息，为视障人士的日常出行提供保障，降低视障人士在日常活动中出现意外的风险。本发明对视障人士出行场景建模，建立点云数据对象与物理空间对象的映射关系，并研发基于场景点云的障碍物快速检测网络，实现视障人士日常出行中可能遇到的障碍物的快速准确识别。最后本发明设计了基于3D场景点云、融合SSD和注意力机制的视障人士出行障碍物检测网络，并将训练后的障碍物检测模型移植到障碍物检测设备上，为视障人士日常出行提供了实时准确的障碍物检测技术方案。

技术领域

本方法属于电子信息领域，是一种基于3D点云和计算机视觉、可应用于视障人士出行的障碍物检测方法。

背景技术

辅助视障人士出行的障碍物检测方法，能够为视障人士的日常出行提供保障，降低视障人士在日常活动中出现意外的风险。目前，辅助视障人士出行的障碍物检测方法总体上可以分为基于传感器的方法和基于计算机视觉的方法。基于传感器的方法虽然使用方便、成本较低，但是只能检测前方是否存在物体，无法获取更多物体相关信息，对视障人士的避障辅助存在一定局限；基于计算机视觉的方法根据视觉数据形式的不同分为2D视觉和3D视觉两类。其中，基于2D视觉的障碍物检测虽然能够直观反映出场景中物体的颜色、轮廓、形状等信息，但其将三维空间转成二维平面，使得物体的平直度、表面角度和体积等空间几何信息丢失，无法准确呈现视障人士行走的真实场景，难以向视障人士反馈障碍物的准确信息。而基于3D视觉的障碍物检测，能够获取丰富的物体形状、尺寸及空间几何等信息，进而更精准地检测障碍物，为实现辅助视障人士出行提供了新支持。

对此，本方法针对3D深度摄像机，设计实现基于场景点云的障碍物检测方法，满足视障人士日常出行中准确检测行走路线前方障碍物的需求。

发明内容

本方法针对视障人士日常出行面临的障碍物准确检测需求，对视障人士出行场景建模，建立点云数据对象与物理空间对象的映射关系；研发基于场景点云的障碍物快速检测网络，实现视障人士日常出行中可能遇到的障碍物的快速准确识别。

本方法涉及如下4点：

1.在分析视障人士出行场景特征的基础上，结合RGB-D摄像机建立了视障人士出行场景的3D点云模型；

2.对原始离散且不规则的点云数据进行编码，将点云数据转化为规则的表示形式，方便卷积神经网络进行障碍物特征提取；

3.使用深度可分离卷积网络提取障碍物特征，在确保障碍物特征准确提取的同时，降低了障碍物检测模型参数量；

4.融合Single Shot Multibox Detector即SSD、空间注意力和通道注意力，设计基于点云的障碍物检测网络，实现障碍物的快速准确检测。

本方法核心算法

1.结合RGB-D摄像机建立了视障人士出行场景的3D点云模型