[发明专利]基于正视的人机交互方法与系统

摘要

本发明提供一种基于正视的人机交互方法与系统，获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据，采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较，当一致时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作。整个过程中，基于图像采集设备采集的图像数据进行正视判定，并以用户与设备的正视状态判定作为人机交互前提条件，整个人机交互过程自然，另外采用包括人脸识别、语音识别、手势识别、唇语识别、瞳孔识别以及虹膜识别的多种计算机的视觉识别技术和语音识别技术识别用户下一步动作，能够实现多样式人机交互。

主权项

一种基于正视的人机交互方法，其特征在于，包括步骤：获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据；通过所述图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与所述正视图像数据比较；当所述当前采集的图像数据和所述正视图像数据一致时，判定用户与设备处于相对正视状态；当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别；所述当所述当前采集的图像数据和所述正视图像数据一致时，判定用户与设备处于相对正视状态的步骤之前还包括：当侦测到用户时，定位所述用户的面部位置为音源位置；将声音采集设备正对所述音源位置；所述通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作的步骤包括：通过所述声音采集设备采集用户声音数据，当采集的用户声音数据中携带有语音操作指令时，提取所述语音操作指令，控制设备执行与所述语音操作指令对应操作。