[发明专利]盲人智能终端交互辅助系统

权利要求书

1.一种盲人智能终端交互辅助系统，其特征在于，包括移动终端和外部设备，所述移动终端上安装有APP应用程序，该APP应用程序包括UI分析、汉盲转换和语音助手三个模块；

所述UI分析模块利用AccessibilityService服务接口对所述移动终端上显示的图形界面进行分析并整理，所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上，所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理；

所述外部设备分为电刺激盲文显示和键盘两个模块，所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文，所述键盘模块通过选择显示信息、盲文输入和快捷功能控制所述移动终端的显示和输入。

2.如权利要求1所述的盲人智能终端交互辅助系统，其特征在于，所述UI分析模块将所述移动终端上显示的界面上的所有窗口信息获取，并根据窗口中原有的属性进行分类，生成完整的UI布局数据树，所述UI布局数据树即为多个文本组成的树形结构；对于所述UI布局数据树中字数超过一定数量的文本，所述UI分析模块还使用TextRank算法对长文本进行自动摘要，得到中文摘要文本。

3.如权利要求2所述的盲人智能终端交互辅助系统，其特征在于，得到文本后，所述汉盲转换模块首先根据汉字字库对文本进行自动分词，得到多个汉语分词，然后根据汉语拼音库将汉语分词转换为对应的汉语拼音，接着根据汉语拼音-盲文拼音库将汉语拼音转换为对应的盲文拼音，最终得到盲文文本，将盲文文本通过蓝牙设备传输至电刺激盲文显示模块予以显示。

4.如权利要求3所述的盲人智能终端交互辅助系统，其特征在于，在将汉语分词转换为汉语拼音前，所述汉盲转换模块会首先判断分词中的字是否为多音字，如果是多音字，则使用多音字字符库按照多音字识别规则来判断哪个音节最符合该字；如果不是多音字，则直接根据汉语拼音库将每个汉字转换为相应的拼音，把一个分词中每个字的拼音组成拼音组后输出为汉语拼音。

5.如权利要求1所述的盲人智能终端交互辅助系统，其特征在于，所述语音助手模块先通过移动终端的麦克风接收盲人的语音输入，然后使用科大讯飞语音处理引擎将语音输入转换为对应的文字，接着对文字进行分析，识别其中的关键词，判断识别得到的关键词是否为预设命令，如果是预设命令，则按照命令表执行，如果不是预设命令，则作为字符串输入。