[发明专利]一种协助盲人乘车的便携式装置及其方法

说明书

本发明公开了一种协助盲人乘车的便携式方法，该方法包括：通过构建深度神经网络模型进行行人、公交车及其他机动车多个目标检测；获取公交车目标在图像中的位置、大小和可信度；融合多帧连续检测到的公交车目标信息，并结合测距模块测量的距离，评估出公交车目标的车行方向、移动速度和距离；播出语音，提示用户公交车到达信息。另外盲人可通过语音输入待乘坐公交路线，显示在显示屏，便于公交车司机和其他乘客提供协助。本发明还公开了一个便携式装置，包括控制器、图像捕捉模块、深度神经网络推理模块、测距模块、语音输出模块、语音输入模块和显示模块等。本发明能提示盲人是否有公交车到站，同时便于盲人得到其他人的乘车帮助。

技术领域

本发明属于盲人导航的研究领域，特别涉及一种协助盲人乘车的便携式装置及其方法。

背景技术

盲人在公交站等待公交车时，由于其视觉缺陷，无法看到机动车辆的到来，也无法判断经过的机动车是不是公交车，出行非常不便。目前该领域大多是采用无线通信的方式。在公交站建立电子公交站牌，在每辆公交车增加设备，当公交车到达时，两者的设备互相通信，提示盲人公交车到达；或者是每位盲人自行携带引导装置，公交车上增加感应装置，当车靠近时，两者互相通信，引导装置提示盲人上车。这类装置的缺点是需要投入大量改造费用，比如改造现有公交车站，或为每辆公交车添加额外设备等。

因此，需要提供一种不依赖于改造现有公交系统的协助盲人乘车的便携式装置及方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种协助盲人乘车的便携式装置及其方法，其具有识别准确、携带方便的优点，不需要改造现有公交设施，可拓展性强，成本低。

本发明的目的通过以下的技术方案实现：一种协助盲人乘车的便携式方法，包括步骤：

S1：获取训练图像，构建深度神经网络模型，利用训练图像对模型进行训练，实现行人、公交车及其他机动车辆三个类别的目标检测；

S2：在实际应用时，通过上述训练好的深度神经网络模型，获取公交车目标在图像中的位置、大小和可信度；

S3：融合多帧连续检测到的公交车目标信息，并结合测距模块测量的距离，评估出公交车目标的车行方向、移动速度和距离；

S4：播出语音，提示用户公交车到达信息。

优选的，所述构建的深度神经网络模型采用MobileNet SSD模型。

优选的，利用深度神经网络模型进行目标检测，得到检测到的目标集合O_t＝{o_i,t}，目标元素o_i,t＝(class,x,y,w,h,c)_i,t，其中，目标类别class，目标在图像中的横坐标x和纵坐标y，目标的宽度w和高度h，目标的可信度c，所述目标类别class为公交车(bus)、其他机动车辆(car)或行人(person)三种。

更进一步的，在进行目标检测后，从目标集合中删除可信度c小于阀值的目标元素。以提高效率和后面匹配的准确度。

优选的，步骤S3中，以前后时刻拍摄得到的两帧图像为例，针对下一时刻的图像，在通过深度神经网络模型得到目标集合O_t+1后，计算上一时刻目标集合O_t中公交车目标和此时刻目标集合O_t+1中公交车目标的相似度，将相似度大于阀值的目标作为最终的公交车目标；将所有时刻下识别出的公交车目标加入到公交车目标集合中。通过相似度来筛选出前后时刻中准确的公交车目标对，可提高后续识别的准确度。

更进一步的，评估公交车目标的车行方向、移动速度，步骤是：