[发明专利]一种利用手势增强车载语义解析的系统及方法

说明书

本发明一种利用手势增强车载语义解析的方法，按以下步骤执行：步骤1，用户手指向车内某设备并说出语音指令；步骤2，摄像头捕捉手部图像；步骤3，识别出手势角度或方向；步骤4，分析手势角度或方向与车内各设备预设的对应关系；步骤5，麦克风录制语音指令；步骤6，语音指令转换成文字；步骤7，是否有手势识别结果？如果否，则转步骤10；如果是，则步骤8，根据手势识别结果确定当前语音指令的场景；步骤9，在限定的场景内解析出语义结果，转步骤11；步骤10，仅语音语义解析；步骤11，输出语义结果并执行相应操作。本发明通过分析用户的实时手势，来判断手部指向的方向，从而确定用户当前语音所要操作的设备对象。

技术领域

本发明涉及语义解析技术领域，尤其涉及一种利用手势增强车载语义解析的系统及方法。

背景技术

近年来，随着语音识别(以下简称ASR)和自然语言语义理解(以下简称NLP)技术的快速发展，车载语音助手获得了广泛普及和使用，越来越多的车辆都搭载了语音助手这个功能。通常该功能的目的是希望用户能通过语音的方式对车辆进行操作或交互。用户需要说出一些特定指令或者类似自然交流的对话，由ASR技术把语音识别成文字，再由NLP技术分析出该段文字中的具体语义，从而判断出用户的意图或目的，最后调用相应程序完成用户的操作要求。

由于人类自然语言的特点导致我们在进行语音交流时，说出的内容会习惯性省略掉当前的主语、对象或上下文内容。比如两个人在讨论橱窗里面挂的一件衣服，虽然言语中只是说颜色好看、样式不错等等内容，即使从没提及过衣服这个词，但是这两个人相互之间却能交流顺畅，这就是因为两个人都知道当前对话围绕的对象。但是把这段对话展示给第三个人，第三个人就完全不知道这两个人在交流什么。同样道理，目前NLP技术主要是通过输入的一段文字来分析语义，而人类在语言交流上又习惯省略掉一些前提条件或对象，就像前面例子中整个对话省略掉了橱窗里面的衣服这个对象，仅仅把颜色好看这些文字交由NLP解析的话，系统是无法判断出这句话的真正语义。但是如果在语音输入时要求用户把对象描述完整的话，又不太符合人类说话习惯，造成使用上面的障碍。该问题在车载语音助手中同样存在，比如用户即使看着或指着空调说“开大一点”，车载语音助手仍然不明白用户是想窗户开大一点还是空调开大一点。

因此，现有的自然语言语义解析，存在以下缺陷：

(1)当用户习惯上省略掉说话中的一些前提条件或对象时，自然语言语义理解无法正确解析，或者导致分析错误；

(2)如果要求用户把对象描述完整的话，又不太符合人类说话习惯，造成使用上面的障碍，且非常麻烦。

针对这些问题，我们发明了一种利用手势增强车载语义解析的系统及方法。

发明内容

本发明的发明目的在于解决现有的自然语言语义解析，存在当用户习惯上省略掉说话中的一些前提条件或对象时，自然语言语义理解无法正确解析，或者导致分析错误，如果要求用户把对象描述完整的话，又不符合人类说话习惯，造成使用上的障碍，且非常麻烦的问题。其具体解决方案如下：

可选方案1：

一种利用手势增强车载语义解析的系统，包括中央处理器，与中央处理器连接的手势处理单元，与中央处理器连接的语音处理单元，与中央处理器连接的语义处理单元，与中央处理器连接的语义执行单元，语义处理单元分别与手势处理单元、语音处理单元连接。所述手势处理单元，包括第一子处理器，与第一子处理器连接的摄像头，与第一子处理器连接的图像识别模块。所述语音处理单元，包括第二子处理器，与第二子处理器连接的麦克风，与第二子处理器连接的语音指令转文字模块。所述语义处理单元，包括第三子处理器，与第三子处理器连接的语义解析模块。所述语义执行单元，包括语义执行模块。

进一步地，所述第一子处理器、第二子处理器、第三子处理器，分别与所述中央处理器连接。

进一步地，所述语义解析模块的输入端，分别与所述图像识别模块、语音指令转文字模块的输出端连接。