[发明专利]一种移动型导盲机器人系统及导盲方法

说明书

本发明涉及一种移动型导盲机器人系统及导盲方法，属于残疾人辅助设备领域。本发明能够实时的进行非结构化环境下的多源融合感知及智能评估，进而将评估结果提供给复杂环境约束下的决策规划模块进行运算，不仅能实现实时环境感知，同时可进行实时决策，实现全自主的路径引导。能够基于多源融合进行路面评估，从材质和平坦性两个维度对路面进行融合评估，获得更为全面的信息。当前的代表性方案普遍使用语义分割技术判别可行路面，通过RGB‑D数据，融合平坦度检测和材质检测，能为盲人更好更全面的探测和评估路面可通行性。

技术领域

本发明涉及一种移动型导盲机器人系统及导盲方法，属于残疾人辅助设备领域。

背景技术

当前，我国视力障碍人士的数量超过500万人，位居世界前列。越来越多的视障人士认为，现阶段社会提供的导盲设施及工具均不能很好地满足他们的活动需要，难以提供有效的路径规划和避障服务，一定程度上造成了视力障碍人群出行难的问题。随着人工智能领域算法的突破性发展以及应用的日益普及，近年来智能硬件的成本大为降低，相关工具链也日益成熟，为新应用的形成奠定了必要的基础。当前智能导盲装置主要有穿戴式和杖式两大类，这两类导盲装置的主要技术缺陷有：

(1)受限于可穿戴属性或安装空间对体积和重量的限制，该类装置难以配备高性能计算设备和完善的多源信息感知系统。

(2)穿戴式智能导盲装置的感知传感器以人体为安装面，杖式智能导盲装置以盲杖前缘为安装面，均与人体运动强耦合，受人体正常运动的影响难以保持传感器参考系相对稳定，不利于提高感知精度。

(3)无法实现直接的引导，仅提供感知辅助，决策需盲人自身完成。

针对上述技术缺陷工业界发展了一类具有自主移动功能的导盲机器人，可初步处理上述缺陷，但仍存在诸多不足之处，如中国专利CN110368275A公开了一种导盲机器人硬件设计方法及与之配合的自主导盲方法，但没有考虑融合路面可通行性，在路径规划方面没有考虑导盲任务所处的行人环境。当前的代表性感知方案普遍使用语义分割技术判别可行路面，如中国专利CN201810534059.7公开的一种基于语义分割神经网络模型的目标和地形检测方法，能检测路面类型并通知盲人，但难以识别相同材质路面的平坦情况。专利CN102048612A公开了一种能自动识别交通信号灯、盲道等关键信息的移动机器人，但其无自主决策能力，仍需将信息汇报使用者令其自行决策。

发明内容

本发明的目的是为了解决现有只能导航存在的上述问题，提供一种移动型导盲机器人系统及导盲方法。该方法能够自主进行融合环境感知，运行避障和规划，在人机交互模块的调控下进行自动盲人引导。

本发明的目的是通过下述技术方案实现的。

一种移动型导盲机器人导盲方法，包括如下步骤：

步骤一、采集训练数据。拍摄采集多张周围环境图片，构成图集D；并通过人工标注每张数据的内容轮廓；

步骤二、构建识别网络。在图像集D基础上进行迁移学习，得到材质判别模型，之后进行修剪、量化和霍夫曼编码，将材质判别模型压缩并通过TensorRT工具优化材质判别模型的算力消耗，同时对每类材质赋予惩罚值l，得到材质惩罚系数表，再将判别模型和材质惩罚系数表一并存储在机器人系统中；所述惩罚值表示对系统在该材质上运动的拒绝程度。

步骤三、材质检测以及材质评分。

材质检测：在运行模式下，传感器将获取的深度相机和彩色相机数据帧分别发送给步骤二所得的判别模型；利用判别模型得到像素坐标系下的材质信息M；所述材质信息M元素格式为(u,v,C)，u表示x轴方向像素坐标；v表示y轴方向像素坐标；C表示材质类别。