[发明专利]一种盲人导航方法及装置

说明书

本发明提供一种盲人导航方法及装置。所述方法包括：根据当前手持终端的视频模块拍摄的视频图像进行障碍物检测；根据当前手持终端的GPS模块输出的当前位置信息、历史位置信息和其它手持终端的历史位置信息，对当前手持终端的行进方向进行预测；融合障碍物检测结果和基于位置信息的预测结果，对当前手持终端的行进方向进行预测。本发明基于多模态融合进行导航预测；基于位置信息的预测方法，不但利用当前手持终端的历史数据，还融合了其它手持终端在与当前手持终端相同路段的历史数据，明显提高了模型的精度，从而提高了导航精度。

技术领域

本发明涉及大数据、互联网和人工智能技术领域，具体涉及一种盲人导航方法及装置。

背景技术

根据第二次全国残疾人抽样调查结果，我国视力残疾人数超过1260万人。而根据世界卫生组织估算，全球实际残疾人数约为2.8亿人，其中全盲人士超过3900万人。城市发展步伐加快，城市交通路况复杂且更新速度加快，传统的盲人导航系统很难满足实时性和准确性的需求，无法为盲人出行带来足够的安全保障和效率提升。一直以来，国内外学者和研究人员针对构建更加智能的盲人导航系统做出了诸多研究。有学者利用3G无线网络和GPS构建盲人导航服务系统，盲人导航终端将盲人当前地理位置和前往目的地信息通过3G网络上传到数据服务中心，数据服务中心计算得到最短出行路线后返回给终端，从而达到导航服务的目的。还有学者利用在盲道上嵌入定位芯片，远程协助平台利用定位芯片位置信息绘制出盲人专用的电子地图，从而能够精准地向终端发出最佳导航线路，有效缓解了常规GPS方法带来的定位不准确问题。同样为了缓解GPS不够精准的问题，有研究人员提出一种基于物联网环境的盲人导航系统，在盲人手杖底端装入RFID射频识别模块，对盲道上设置的RFID电子标签进行识别，并通过无线网络实现和手持终端的通信连接，手持终端根据RFID识别结果进行路径推荐和规划。

上述现有导航系统存在一个共同问题，那就是基于单个终端的历史数据建模实现导航算法，没有融合多个终端在相同路段的历史数据，可利用的数据样本较少，模型精度不高，很难满足复杂路况下盲人的导航需求。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种盲人导航方法及装置。

为了实现上述目的，本发明采用以下技术方案。

第一方面，本发明提供一种盲人导航方法，包括：

根据当前手持终端的视频模块拍摄的视频图像进行障碍物检测；

根据当前手持终端的GPS模块输出的当前位置信息、历史位置信息和其它手持终端的历史位置信息，对当前手持终端的行进方向进行预测；

融合障碍物检测结果和基于位置信息的预测结果，对当前手持终端的行进方向进行预测。

进一步地，所述障碍物检测的方法包括：

将所述视频图像输入到卷积神经网络ResNet-50进行特征提取，基于YOLO-V4算法进行障碍物检测。

进一步地，基于位置信息的预测方法包括：

在当前手持终端行走的起始点与当前点之间的路径上选取多个关键位置作为顶点，以顶点之间的连线作为边，以两个顶点之间行走时间的倒数作为边的权重，并增加其它手持终端位于所述起始点与当前点之间的行走数据，得到所有路径组成的图；利用图神经网络对所述图进行学习，实现对当前手持终端行进方向的预测。

进一步地，所述方法还包括：根据当前手持终端的红外模块的发射信号和接收信号进行障碍物检测；障碍物检测结果用于与基于图像的障碍物检测结果和基于位置信息的预测结果融合，实现当前手持终端行进方向的预测。

更进一步地，通过将所述发射信号和接收信号输入到一个长短时记忆神经网络进行特征提取，实现障碍物检测。

第二方面，本发明提供一种盲人导航装置，包括：