[发明专利]一种能够实现楼梯检测的装置及方法

权利要求书

1.一种能够实现楼梯检测的装置，其特征在于，该能够实现楼梯检测的装置包括：

RGB-D摄像机用于采集三维环境图像，将实时图像输入到训练好的深度学习模型faster-rcnn-inception-v2-coco模型，进行实时检测，判断是上楼梯还是下楼梯；

超声波传感器用于测量与地面距离，预先设定阈值，通过测量的高度与阈值对比，判定是上楼梯还是下楼梯；所述超声波传感器设置在杖体上，置于手杖的固定位；

震动感应器用于识别出楼梯类别给与用户警示。

2.如权利要求1所述的能够实现楼梯检测的装置，其特征在于，所述装置进一步包含导盲杖本体以及与之相连接的R-GBD相机、处理器和振动感应器和蜂鸣器；

所述摄像机放置在手杖的顶部，便于对场景信息的采集；

所述处理器采用树莓派主板；

所述振动感应器置于手杖手柄中。

3.如权利要求1所述的能够实现楼梯检测的装置，其特征在于，所述手杖结合了深度神经网络的图像识别和超声波传感器的识别功能，为视障人士提供了有效的辅助信息，减少漏检情况；然后采用边框回归法进行边界标注，标出识别的置信度。

4.一种应用如权利要求1所述的能够实现楼梯检测的装置的能够实现楼梯检测的方法，其特征在于，所述能够实现楼梯检测的方法包括以下步骤：

(1)采集不同大小和类别的包括楼上和楼下楼梯的图像，形成数据集；

(2)对数据集采用labeling工具进行标注，对是向上楼梯标注为upstair，向下楼梯标注为downstair；

(3)将步骤(2)标注的数据集分为训练集和测试集；

(4)对数据集进行归一化处理；

(5)采用faster-rcnn-inception-v2-coco-model模型对训练集进行训练，得到识别模型，在训练过程中，初始学习率设置为0.0002，最大迭代次数设置为200000；

(6)将测试集输入识别模型，输出测试图像中楼梯类别，以及对预测结果的准确性；

(7)所述预测结果的准确性是对识别的楼梯进行定位，然后采用边框回归法进行边界标注，标出识别的置信度；

(8)超声波传感器用于辅助检测识别，通过测量地面距离，这个固定的测量值设为阈值，测量数据规则设定每秒取1000个数据，取平均值，然后用平均值和阈值进行对比，如果测量平均值低于阈值，认定为上楼，如果测量平均值高于阈值，则判定为下楼。

5.如权利要求2所述的能够实现楼梯检测的方法，其特征在于，所述深度神经网络使用深度卷积神经网络，采用带有标注的数据集对神经网络进行训练，将具有更深层次且表达能力更强的inception网络代替了FasterRCNN中用于提取图像特征的VGG-16网络，得到卷积特征图；将卷积特征图输入到区域网络RPN中；同时在感兴趣区域层利用soft-nms算法优化冗余锚框，调整待检测物的位置信息，减少漏检情况。然后采用边框回归法进行边界标注，标出识别的置信度。

6.一种存储介质，该存储介质用于存储实现权利要求4所述方法的程序。

7.一种数据处理终端，所述数据处理终端运行权利要求4所述方法。