[发明专利]盲人智能终端交互辅助系统

说明书

技术领域

本发明涉及智能终端技术领域，特别是涉及盲人智能终端交互辅助系统。

背景技术

视力残疾俗称“盲"，它涵盖了我们日常生活中所说的盲和低视力两类。据世界卫生组织(WHO)2010年统计，全球2.85亿人视力受损，其中盲人占3900万，低视力者占2.46亿。中国是世界上盲人最多的国家，约有825万盲人，占世界盲人人口数目的21％。人口增长和老龄化加快，眼科专业医护人员缺少，防盲治盲意识缺乏以及医学技术落后，是我国盲人人数不断上升的主要原因。每年我国约有45万人失明，几乎每分钟就会增加一例新的盲人。按照这种发展趋势，预期中国盲人数量到2020年将增加4倍。因此，越来越庞大的盲人群体，需要社会各界更多的关爱和支持。视力残疾者是指由于各种原因使视觉器官或大脑视中枢的构造或功能发生部分或完全病变，导致双眼不同程度的视力损失或视野缩小，视功能难以像一般人一样在从事工作、学习或进行其它活动时应用自如，甚至丧失，他们主要依靠残余视力、听觉和触觉从外界获取信息。

目前，国内外对于综合性的盲人智能设备交互辅助系统的研究与设计还处于起步阶段。以盲人使用智能手机为例，绝大部分盲人使用语音或是触摸的交互方式，即安装读屏软件或连接盲文显示器来“阅读”智能手机所显示的信息做出相应的操作，从而实现交互。

对于视觉系统受损的盲人，听觉阅读信息量大但时间长容易造成听力下降，易与环境中的声音相互干扰；并且读屏软件对图形界面不友好，对盲人发出的语音指令识别的辨识度要求较高。而市场上的盲文转化与显示设备又存在着价格高、体积大、同步转化速度有限、单位时间内传递信息量小等不足。由于智能设备上的应用软件和网页上信息量大，其中包含着大量广告、图形等冗余信息，不论是读屏软件的语音交互还是盲文显示器的触摸交互方式都只是对智能设备屏幕局部文字或控制信息的完整再现，盲人快速找到并浏览自己感兴趣的内容十分不易。

发明内容

本发明实施例提供了盲人智能终端交互辅助系统，可以解决现有技术中存在的问题。

一种盲人智能终端交互辅助系统，包括移动终端和外部设备，所述移动终端上安装有APP应用程序，该APP应用程序包括UI分析、汉盲转换和语音助手三个模块；

所述UI分析模块利用AccessibilityService服务接口对所述移动终端上显示的图形界面进行分析并整理，所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上，所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理；

所述外部设备分为电刺激盲文显示和键盘两个模块，所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文，所述键盘模块通过选择显示信息、盲文输入和快捷功能控制所述移动终端的显示和输入。

优选地，所述UI分析模块将所述移动终端上显示的界面上的所有窗口信息获取，并根据窗口中原有的属性进行分类，生成完整的UI布局数据树，所述UI布局数据树即为多个文本组成的树形结构；对于所述UI布局数据树中字数超过一定数量的文本，所述UI分析模块还使用TextRank算法对长文本进行自动摘要，得到中文摘要文本。

优选地，得到文本后，所述汉盲转换模块首先根据汉字字库对文本进行自动分词，得到多个汉语分词，然后根据汉语拼音库将汉语分词转换为对应的汉语拼音，接着根据汉语拼音-盲文拼音库将汉语拼音转换为对应的盲文拼音，最终得到盲文文本，将盲文文本通过蓝牙设备传输至电刺激盲文显示模块予以显示。

优选地，在将汉语分词转换为汉语拼音前，所述汉盲转换模块会首先判断分词中的字是否为多音字，如果是多音字，则使用多音字字符库按照多音字识别规则来判断哪个音节最符合该字；如果不是多音字，则直接根据汉语拼音库将每个汉字转换为相应的拼音，把一个分词中每个字的拼音组成拼音组后输出为汉语拼音。

优选地，所述语音助手模块先通过移动终端的麦克风接收盲人的语音输入，然后使用科大讯飞语音处理引擎将语音输入转换为对应的文字，接着对文字进行分析，识别其中的关键词，判断识别得到的关键词是否为预设命令，如果是预设命令，则按照命令表执行，如果不是预设命令，则作为字符串输入。