[发明专利]基于正视的人机交互方法与系统

权利要求书

1.一种基于正视的人机交互方法，其特征在于，包括步骤：

获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据；

通过所述图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与所述正视图像数据比较；

当所述当前采集的图像数据和所述正视图像数据一致时，判定用户与设备处于相对正视状态；

当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别；

所述当所述当前采集的图像数据和所述正视图像数据一致时，判定用户与设备处于相对正视状态的步骤之前还包括：

当侦测到用户时，定位所述用户的面部位置为音源位置；

将声音采集设备正对所述音源位置；

所述通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤包括：

通过所述声音采集设备采集用户声音数据，当采集的用户声音数据中携带有语音操作指令时，提取所述语音操作指令，控制设备执行与所述语音操作指令对应操作。

2.根据权利要求1所述的基于正视的人机交互方法，其特征在于，所述通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤包括：

对用户与设备处于相对正视状态的时间进行计时；

当用户与设备处于相对正视状态的时间大于预设时间时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作。

3.根据权利要求2所述的基于正视的人机交互方法，其特征在于，所述当用户与设备处于相对正视状态的时间大于预设时间时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤之后还包括：

查找预设与用户身份匹配的视频图像数据，控制设备显示查找到的视频图像数据。

4.根据权利要求1所述的基于正视的人机交互方法，其特征在于，所述通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤包括：

对所述用户进行语音识别和唇语识别；

当语音识别结果和唇语识别结果一致时，控制设备响应所述用户的语音操作。

5.根据权利要求1所述的基于正视的人机交互方法，其特征在于，所述通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤包括：

对所述用户进行语音识别和语义理解；

当语音识别结果和语义理解的结果与设备当前场景相符时，控制设备响应所述用户的语音操作。

6.根据权利要求1所述的基于正视的人机交互方法，其特征在于，所述当所述当前采集的图像数据和所述正视图像数据一致时，判定用户与设备处于相对正视状态的步骤之后还包括：

接收用户输入的操作指令，所述操作指令包括非正视状态操作指令和正视状态操作指令；

当侦测到用户不再处于所述正视状态时，响应用户输入的非正视状态操作指令；

当侦测到用户再次进入所述正视状态时，响应用户输入的正视状态操作指令。

7.根据权利要求1所述的基于正视的人机交互方法，其特征在于，所述通过所述图像采集设备实时采集用户当前图像数据的步骤之后还包括：

获取用户正视设备时的图像数据；

比较所述用户正视设备时的图像数据和当前采集的图像数据；

当所述用户正视设备时的图像数据和当前采集的图像数据一致时，启动计算机的视觉识别技术和语音识别技术、和/或预设操作，所述预设操作包括录音与播放视频。