[发明专利]基于视线跟踪的交互控制方法、装置及智能终端

说明书

技术领域

本发明涉及智能控制技术领域，具体而言，本发明涉及一种基于视线跟踪的交互控制方法、装置及智能终端。

背景技术

随着互联网技术的发展和智能终端日益普及，各类智能控制技术也应运而生，它们丰富着用户的生活，用户消耗在智能终端设备及其交互控制上的时间也越来越多。人机交互是研究用户、智能设备以及它们间互影响的技术，其研究目的在于利用所有可能的信息通道进行人机交流，提高交互的自然性和高效性。用户对智能终端的交互控制，从利用鼠标键盘、触敏显示屏逐渐发展到基于语音识别和手势识别等，越来越智能、便捷。基于视线跟踪的交互控制技术由于其直接性、自然性和双向性的特点，近年来备受重视，方兴未艾。

在人与智能终端的交互控制中，视觉通常作为人接收信息的感觉通道。例如，当用户使用鼠标来选择屏幕上感兴趣的目标时，视线随着视觉焦点聚焦到该目标上，然后检查光标与该目标的空间距离，再反馈到大脑并经大脑指挥手去移动鼠标器，直至视觉判断光标已位于目标之上，做出按键动作。如果计算机能“自动”将光标置于用户所感兴趣的目标之上，就会省去上述交互过程中的大部分步骤，从而把手解放出来，大大降低认知负荷。

然而，目前常见的基于视线跟踪的交互控制技术大都需要用户戴上外部设备，限制了其应用场景，且用户体验不佳；或者在对多个任务窗口进行识别时，选定误差较大，导致识别率低下等问题。

发明内容

本发明的目的在于针对以上存在的至少一方面不足，提供一种基于视线跟踪的交互控制方法、装置及智能终端，能够提高交互控制的效率，提升用户体验。

为了实现上述目的，本发明采取如下若干方面的技术方案：

第一方面，本发明实施例中提供了一种基于视线跟踪的交互控制方法，包括如下步骤：

检测用户的视觉焦点信息，依据视觉焦点信息选定当前用户界面中与其相匹配的任务窗口；

获取用户的眼部图像，依据眼部图像确定交互指令类型；

根据交互指令类型触发针对选定的任务窗口的交互控制事件。

结合第一方面，本发明在第一方面的第一种实现方式中，视觉焦点信息包括视觉焦点的位置信息；

依据视觉焦点信息选定当前用户界面中与其相匹配的任务窗口的过程具体包括：将视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配，选定与视觉焦点信息相匹配的任务窗口。

结合第一方面的第一种实现方式，本发明在第一方面的第二种实现方式中，视觉焦点信息还包括用于表征用户眼部与视觉焦点之间距离的距离信息；当距离信息表征的距离大于第一距离阈值且小于第二距离阈值时，将视觉焦点信息中的位置信息与当前用户界面中的任务窗口的位置信息进行匹配，选定与视觉焦点信息相匹配的任务窗口；否则不进行匹配。

结合第一方面的第一种实现方式，本发明在第一方面的第三种实现方式中，匹配过程包括，根据视觉焦点的位置信息和任务窗口的位置信息确定视觉焦点的位置坐标是否包含于当前用户界面中的任务窗口的位置区域，当包含于任务窗口的位置区域时，确定任务窗口与视觉焦点信息相匹配。

结合第一方面的第三种实现方式，本发明在第一方面的第四种实现方式中，当视觉焦点的位置坐标包含于当前用户界面中的任务窗口的位置区域的时长达到预设值时，确定任务窗口与视觉焦点信息相匹配；否则，确定任务窗口与视觉焦点信息不相匹配。

结合第一方面的第三种实现方式，本发明在第一方面的第五种实现方式中，当视觉焦点的位置坐标包含于多个任务窗口的重合的位置区域时，确定最上层的任务窗口与视觉焦点信息相匹配。

结合第一方面的第三种实现方式，本发明在第一方面的第六种实现方式中，选定任务窗口后，在任务窗口的位置区域显示预定的提示图案，提示图案用于引导用户确认其所选定的任务窗口。

结合第一方面的第三种实现方式，本发明在第一方面的第七种实现方式中，当选定的任务窗口与其他任务窗口至少部分重合时，将选定的任务窗口置于最上层。

结合第一方面，本发明在第一方面的第八种实现方式中，检测用户视觉焦点信息的过程具体包括：

通过红外光源向用户眼部区域发射红外光；

采集红外图像，红外图像包括用户眼部区域反射红外光形成的光斑；

提取红外图像中光斑的位置特征数据并进行视线估计以获取用户视觉焦点的位置信息。

结合第一方面，本发明在第一方面的第九种实现方式中，检测用户视觉焦点信息的过程具体包括：

基于光学相干层析成像获取用于表征用户眼部形变的晶状体特征数据；