[发明专利]一种利用手势增强车载语义解析的系统及方法

权利要求书

1.一种利用手势增强车载语义解析的系统，其特征在于：包括中央处理器，与中央处理器连接的手势处理单元，与中央处理器连接的语音处理单元，与中央处理器连接的语义处理单元，与中央处理器连接的语义执行单元，语义处理单元分别与手势处理单元、语音处理单元连接；所述手势处理单元，包括第一子处理器，与第一子处理器连接的摄像头，与第一子处理器连接的图像识别模块；所述语音处理单元，包括第二子处理器，与第二子处理器连接的麦克风，与第二子处理器连接的语音指令转文字模块；所述语义处理单元，包括第三子处理器，与第三子处理器连接的语义解析模块；所述语义执行单元，包括语义执行模块。

2.根据权利要求1所述一种利用手势增强车载语义解析的系统，其特征在于：所述第一子处理器、第二子处理器、第三子处理器，分别与所述中央处理器连接。

3.根据权利要求1所述一种利用手势增强车载语义解析的系统，其特征在于：所述语义解析模块的输入端，分别与所述图像识别模块、语音指令转文字模块的输出端连接。

4.根据权利要求1所述一种利用手势增强车载语义解析的系统，其特征在于：所述摄像头，设置于车箱内部，具有360度自动跟踪拍摄用户手势的作用。

5.根据权利要求1所述一种利用手势增强车载语义解析的系统，其特征在于：所述摄像头，具有拍摄角度的识别作用。

6.一种利用手势增强车载语义解析的系统，其特征在于：包括中央处理器，与中央处理器连接的手势处理单元，与中央处理器连接的语音处理单元，与中央处理器连接的语义处理单元，与中央处理器连接的语义执行单元，语义处理单元分别与手势处理单元、语音处理单元连接；所述手势处理单元，包括与所述中央处理器连接的摄像头，与所述中央处理器连接的图像识别模块；所述语音处理单元，包括与所述中央处理器连接的麦克风，与所述中央处理器连接的语音指令转文字模块；所述语义处理单元，包括与所述中央处理器连接的语义解析模块，所述语义执行单元，包括与所述中央处理器连接的语义执行模块。

7.根据权利要求6所述一种利用手势增强车载语义解析的系统，其特征在于：所述语义解析模块的输入端，分别与所述图像识别模块、语音指令转文字模块的输出端连接。

8.根据权利要求6所述一种利用手势增强车载语义解析的系统，其特征在于：所述摄像头，设置于车箱内部，用户的座位前方，用于拍摄用户手势的作用。

9.基于权利要求1或6中任一项所述一种利用手势增强车载语义解析的系统的一种利用手势增强车载语义解析的方法，其特征在于，按照以下步骤进行：

步骤1，用户手指向车内某设备并说出语音指令或者用户仅说出语音指令，其中语音指令执行步骤5；

步骤2，摄像头捕捉手部图像；

步骤3，识别出手势角度或方向；

步骤4，分析手势角度或方向与车内各设备预设的对应关系；

步骤5，麦克风录制语音指令；

步骤6，语音指令转换成文字；

步骤7，是否有手势识别结果？如果否，则转步骤10；如果是，则下一步，

步骤8，根据手势识别结果确定当前语音指令的场景；

步骤9，在限定的场景内解析出语义结果，转步骤11；

步骤10，仅语音语义解析；

步骤11，输出语义结果并执行相应操作。

10.根据权利要求9所述一种利用手势增强车载语义解析的方法，其特征在于：所述摄像头，设置于车箱内部，具有360度自动跟踪拍摄用户手势的作用，并具有拍摄角度的识别作用；或者所述摄像头固定设置于座位的前方，拍摄用户手势。