[发明专利]基于RGB图像的人眼跟踪方法及装置

说明书

本发明实施例公开了一种基于RGB图像的人眼跟踪方法及装置，要目的在于在确定为已注册为操作者后，通过已存储的操作者人脸的眼睛瞳距提高人眼识别的时效性，节省了计算步骤，从而实现人眼的实时跟踪。技术方案包括：对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者；若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

技术领域

本发明实施例涉及终端应用技术领域，特别是涉及一种基于RGB图像的人眼跟踪方法及装置。

背景技术

随着3D技术的发展及普及，为了能达到更好的观看效果，在裸眼3D 显示应用场景下，需要对观看者的眼球进行跟踪定位，并根据观看者眼睛的位置实时调整图像的排列顺序，已达到最佳3D显示效果。

目前，单纯的RGB图人眼跟踪方案由于缺乏深度信息，不能实现瞳距的测量，而深度图结合RGB图的方案在检测速度和效率上无法达到3D显示跟踪的要求，会存在人眼检测速度较慢，使得观看者的眼睛移动过程中会出现3D图像模糊、更新滞后的问题，因而导致观看过程中由于显示串扰问题，造成观看者出现头晕、目眩、恶心、不能实现3D显示合成等问题。

发明内容

有鉴于此，本发明实施例提供了一种基于RGB图像的人眼跟踪方法及装置，主要目的在于在确定为已注册为操作者后，通过已存储的操作者人脸的眼睛瞳距提高人眼识别的时效性，节省了计算步骤，从而实现人眼的实时跟踪。

为了解决上述问题，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供一种基于RGB图像的人眼跟踪方法，包括：

对显示屏前的预选操作者进行人脸识别，并根据人脸识别结果确定预选操作者是否已注册为操作者；

若确定已注册为操作者，则提取注册信息，所述注册信息中包含操作者人脸的眼睛瞳距、操作者的活动范围及活动速度；

获取包含所述操作者的RGB图像，并根据所述RGB图像及所述注册信息计算操作者的三维信息；

锁定人脸检测窗口，并在所述人脸检测窗口内根据所述三维信息对操作者的人眼进行实时跟踪。

可选的，所述方法还包括：

若确定未注册为操作者，则提取所述预选操作者的眼球运动及注视显示屏的注视时间；

若眼球运动及注视时间符合预设条件阈值，则将所述预选操作者标识注册为操作者；

同时启动深度摄像机及RGB摄像机，计算操作者人脸的眼睛瞳距，并记录所述操作者的活动范围及活动速度；

将所述操作者人脸的眼睛瞳距、所述操作者的活动范围及活动速度记录于所述注册信息中；

控制所述深度摄像机为关闭状态，及控制所述RGB摄像机为启动状态。

可选的，计算操作者人脸的眼睛瞳距包括：

分别获取包含同一操作者人脸的深度图像及RGB图像，并将所述深度图像及RGB图像进行重合处理；

根据重合处理后的图像计算操作者人脸的眼睛瞳距；

其中，所述深度摄像机用于采集深度图像，RGB摄像机用于采集所述 RGB图像；所述深度摄像机为基于飞行时间TOF的深度摄像机或任一种基于结构光检测的深度摄像机。

可选的，所述方法还包括：