[发明专利]基于手势识别的辅助语义识别方法

说明书

本发明涉及人机交互技术领域，具体公开了基于手势识别的辅助语义识别方法，包括如下步骤：S1、手势演示步骤：在输入前播放手势演示视频；S2、图像采集步骤：实时采集图像数据；S3、图像处理步骤：对图像数据进行预处理；S4、手势识别步骤：识别手势识别区的手势并记录手势的运动轨迹信息；将手势及手势的运动轨迹信息输入预设的手势识别模型中并获取识别结果；S5、手势判断步骤：判断运动轨迹信息是否符合标准，如果不符合，发出提醒；S6、语义识别步骤：获取文字文本并提取咨询关键词，将咨询关键词与预存的法律词库中的法律关键词进匹配，并获取匹配成功的法律关键词对应的法律条文。采用本发明的技术方案能够在低成本下保证实时识别。

技术领域

本发明涉及人机交互技术领域，特别涉及基于手势识别的辅助语义识别方法。

背景技术

由于法律具有较高的专业性，非专业人才很难掌握和灵活运用。因此，人们在遇到法律问题时往往需要求助律师进行相关法律问题的咨询。然而，因为律师的从业人数相对较少，咨询费用相对较贵，律师的咨询服务并不能够满足所有人的咨询要求。为了解决普通大众的法律咨询问题，能提供自助服务的法律咨询机器人应运而生。

人们通过法律咨询机器人进行法律问题咨询时，需要被咨询者输入咨询问题，系统可以根据咨询问题自动匹配对应的解答发送给咨询者。

目前咨询者输入咨询问题的方式主要有键盘输入和语音进行输入。但是对于某些特殊人群来说，还是存在着不会使用键盘输入或者不能使用语音输入的问题；例如对于文化程度较低的聋哑人来说，就难以进行键盘输入，也不能进行语音输入。为了让所有人都能顺利的进行线上咨询，需要引入额外的输入方式，例如手势识别。

然而由于手势识别的计算过程比较复杂，对实时性要求比较高，如果进行手势输入的用户输入的速度过快时，如果法律咨询机器人的计算能力不足，可能会导致每一帧图像的处理时间太长，因此无法解决对咨询者的手势输入进行实时识别的问题。而且，总体上手势识别的使用频率远低于键盘输入和语音输入等传统输入方式，如果一味的升级法律咨询机器人的硬件来提升计算能力，会增加额外的成本。

为此，需要一种成本低且能实时识别的方法。

发明内容

本发明提供了基于手势识别的辅助语义识别方法，能够在低成本下保证实时识别。

为了解决上述技术问题，本申请提供如下技术方案：

基于手势识别的辅助语义识别方法，包括如下步骤：

S1、手势演示步骤：在输入前播放手势演示视频；

S2、图像采集步骤：实时采集图像数据；

S3、图像处理步骤：对图像数据进行预处理并划分手势识别区；

S4、手势识别步骤：识别手势识别区的手势并记录手势的运动轨迹信息；将手势及手势的运动轨迹信息输入预设的手势识别模型中并获取识别结果；识别结果为文字文本；

S5、手势判断步骤：判断运动轨迹信息是否符合标准，如果不符合，发出提醒；

S6、语义识别步骤：获取文字文本并提取咨询关键词，将咨询关键词与预存的法律词库中的法律关键词进匹配，并获取匹配成功的法律关键词对应的法律条文；将法律条文输出。

基础方案原理及有益效果如下：

本方案中，通过让用户观看手势演示视频，能使用户了解如何进行标准的手势输入，降低用户过快进行手势输入的几率。在用户的手势不符合标准时，进行提醒，能进一步引导用户调整当前的手势输入速度等。通过对用户进行有效的引导，能让用户的手势输入与当前的处理能力相匹配，避免因计算能力不足，无法对实时的手势输入进行识别的问题。而且，不需要提升硬件的处理能力，降低了成本。