[发明专利]基于正视的人机交互方法与系统

说明书

技术领域

本发明涉及人机交互技术领域，特别是涉及基于正视的人机交互方法与系统。

背景技术

人机交互是指人与设备之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与设备之间的信息交换过程。

随着科学技术的发展，人机交互技术的应用领域越来越宽广，小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室，用户都可以通过人机交互界面与系统交流，并进行操作。目前在人机交互技术中，主流的人机交互方式主要包括3种，第一种是传统按键方式；第二种是特定语音词激活方式，如：在对话前先说“小冰你好”，设备才识别后面所听到的语音；第三种是“举手发言”，即先用一个特定手势动作来让设备启动语音识别。

上述人机交互方式，虽然在一定程度上可以实现人机交互功能，但是由于交互方式单一，需要预先设定一定特定手势动作，交互过程并不十分自然，在一定程度上给用户操作带来不便。

发明内容

基于此，有必要针对一般人机交互方式单一且不自然给用户带来不便操作的问题，提供一种人机交互方式多样，且交互过程自然，给用户带来便捷操作的基于正视的人机交互方法与系统。

一种基于正视的人机交互方法，包括步骤：

获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据；

通过图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较；

当当前采集的图像数据和正视图像数据一致时，判定用户与设备处于相对正视状态；

当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别。

一种基于正视的人机交互系统，包括：

获取模块，用于获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据；

比较模块，用于通过图像采集设备实时采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较；

判定模块，用于当当前采集的图像数据和正视图像数据一致时，判定用户与设备处于相对正视状态；

控制模块，用于当用户与设备处于相对正视状态时，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作，所述计算机的视觉识别技术和语音识别技术包括人脸识别、语音识别、语义理解、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、人脸跟踪、瞳孔识别以及虹膜识别。

本发明基于正视的人机交互方法与系统，获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据，采集用户当前图像数据，将当前采集的图像数据与正视图像数据比较，当一致时，判定用户与设备处于相对正视状态，通过计算机的视觉识别技术和语音识别技术识别用户行为和意图，根据预设用户的行为与意图与操作对应关系，控制设备执行与用户当前的行为与意图对应的操作。整个过程中，基于图像采集设备采集的图像数据进行正视判定，并以用户与设备的正视状态判定作为人机交互前提条件，确保当前用户确实有人机交互需求，整个人机交互过程自然，另外采用包括人脸识别、语音识别、手势识别、唇语识别、声纹识别、表情识别、年龄识别、卡片识别、瞳孔识别以及虹膜识别的多种动作识别方式识别用户下一步动作，能够实现多样式人机交互，给用户带来便捷操作。

附图说明

图1为本发明基于正视的人机交互方法第一个实施例的流程示意图；

图2为本发明基于正视的人机交互方法第二个实施例的流程示意图；

图3为本发明基于正视的人机交互系统第一个实施例的结构示意图；

图4为本发明基于正视的人机交互方法与系统具体应用场景示意图。

具体实施方式

如图1所示，一种基于正视的人机交互方法，包括步骤：

S200：获取通过图像采集设备采集的用户与设备处于相对正视状态下的正视图像数据。