[发明专利]辅助盲人进行视觉重构的方法、系统、设备和存储介质

说明书

本发明提供了一种辅助盲人进行视觉重构的方法、系统、设备和存储介质，属于计算机视觉技术领域，解决现有导盲方法响应速度慢、不实用的技术问题。该方法包括：实时获取视觉视据；根据视觉视据确定目标物体的边缘并形成关键点云；根据关键点云形成目标物体轮廓的辅助数据；将辅助数据以接触或非接触方式传输至脑内电极，使得与视网膜形成耦合的脑内电极获得信号输入。本发明可以在满足盲人视觉重构所需数据的条件下，将视据数据简化为低码率的数据实现对数据的精简，有利于降低计算量，提高响应速度，降低延时，提升用户使用体验。

技术领域

本发明涉及计算机视觉重构技术领域，具体涉及一种辅助盲人进行视觉重构的方法、系统、设备和存储介质。

背景技术

盲人因其受损的视觉功能，失去了自行行动的能力。然而，绝大部分盲人常常仅因为眼睛病变等问题，导致了视觉缺失，但却具有完整、可用的视觉通路，这为一定程度恢复盲人视觉能力提供了可能性。现有的盲人解决方案主要通过外部反馈为盲人提供导航，如检测或预测前进的方向，之后以语音或刺激的形式告知盲人行动指令。然而，这类方法一方面容易产生漏检、误检，同时由于设备、算法、盲人之间沟通的困难，极易出现不符合盲人意愿的错误导航。再者现有盲人辅助技术中存在一种脑内电极，这种脑内电极与视网膜形成信号耦合，脑内电极在受到时序性序列时激活，刺激神经节细胞生成生物脉冲信号，生物脉冲信号就会传送至大脑皮层视觉区，然而受限于交互、响应延时、信号特征映射等因素，常常无法保证使用体验，且容易为盲人带来额外的风险。

发明内容

鉴于上述问题，本发明实施例一种辅助盲人进行视觉重构的方法、系统、设备和存储介质，解决现有导盲方法响应速度慢、不实用的技术问题。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种辅助盲人进行视觉重构的方法，该方法包括：

实时获取视觉视据；

根据视觉视据确定目标物体的边缘并形成关键点云；

根据关键点云形成目标物体轮廓的辅助数据；

将辅助数据以接触或非接触方式传输至脑内电极，使得与视网膜形成耦合的脑内电极获得信号输入。

一实施例中，所述根据视觉视据确定目标物体的边缘并形成关键点云包括：

根据目标检测算法实时检测视觉数据的物体区域，并将物体区域定义为有效区域；

根据边缘数据检测算法保留有效区域内物体的边缘数据；

采用双目摄像头计算每个边缘点的深度；

提取边缘数据中关键节点的关键点云并对关键点云进行编码。

一实施例中，所述提取边缘数据中关键节点的关键点云并对关键点云进行编码包括：

根据边缘数据类型的不同将边缘数据分为孤立点、直线和弧线；

将孤立点本身、直线上的两个端点和弧线上经过稀疏采样获得的多个采样点作为关键点云；

按照关键点云的类型、空间坐标的深度进行编码。

一实施例中，所述根据关键点云形成目标物体轮廓的辅助数据包括：

对关键点云进行解码，将关键点云还原为轮廓数据；

通过函数拟合的方式将属于直线类型的关键点云还原为直线；

通过样条插值的方式将属于弧线类型的关键点云还原为弧线。

第二方面，本发明提供一种辅助盲人进行视觉重构的系统，该系统包括：

获取模块：用于实时获取视觉视据；