[发明专利]一种人眼感兴趣物体的位姿识别方法、装置及系统

说明书

本发明属于三维凝视点识别与计算机视觉领域，具体公开了一种人眼感兴趣物体的位姿识别方法、装置及系统，其利用左眼相机和右眼相机分别识别用户的左右瞳孔的中心以此提取人眼的信息；将识别获得的左右瞳孔中心映射至前景左相机中以得到二维凝视点；利用目标识别与追踪算法提取前景左相机中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机中的位姿；将感兴趣物体在前景左相机中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿。本发明可识别用户感兴趣物体并估计该物体的位姿，具有识别准确率高、位姿估计精度高等优点。

技术领域

本发明属于三维凝视点识别与计算机视觉领域，更具体地，涉及一种人眼感兴趣物体的位姿识别方法、装置及系统。

背景技术

一方面，人眼凝视点可以由人毫不费力的发出来，并且包含丰富的信息，反映出人的心理活动与状态，另一方面，在日常生活中，人眼的行为可以向外界传达出一定的信息，例如，通过观察人的眼睛，能够知道该人大致的凝视方向和位置，结合场景信息，还能得知该人感兴趣的物体。综上，设计一款操作简便并且能捕捉人眼凝视点的三维眼动仪对于心理学研究以及特定人群的人机交互操作有很大帮助。

现有的眼动仪装置大多只提取了人眼二维凝视点用于心理学研究以及简单的人机交互，并没有提取三维凝视点，提取的信息量与发挥的作用有限，少数有三维凝视点定位功能的眼动仪的定位精度较低，且没有头部定位模块，导致用户在使用时必须保持头部固定，难以在实际生活场景中使用。例如，CN107773248A公开了一种眼动仪及图像处理算法，该眼动仪包含一个眼睛相机和多个前景相机，可以提取单眼的眼动信息与前景多目相机信息；US10007336B2公开了一种用于三维凝视点估计的眼动仪装置，该眼动仪装置同样采用了一个眼睛相机记录用户眼球运动信息，前景相机使用的是深度相机，通过结构光重建场景中的物体。

然而上述现有技术仍然存在以下问题：1)无法实现人体头部的定位，因此无法将凝视点转换到世界坐标系中供进一步操作，在使用时必须保证头部姿态固定，极大地限制了用户的使用场景，降低了使用舒适度；2)都只采用了一个眼睛相机，无法提取双眼信息，降低了凝视点识别准确率；3)无法实现感兴趣物体的识别与位姿估计，故无法用于三维的实际工作场景(助残与三维交互)；4)CN107773248A利用多个前景摄像头，在耗费空间资源的同时增加了成本，US10007336B2采用深度相机，导致装置笨重、成本高。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种人眼感兴趣物体的位姿识别方法、装置及系统，其借助两个前景相机和两个眼睛相机，提取双眼瞳孔中心以确定用户凝视点，保证凝视点定位的准确性，并结合目标识别与追踪、三维重建与位姿估计、以及位姿转换精确识别用户感兴趣物体并以高精度估计该物体的位姿，具有效率高，精度高等优点。

为实现上述目的，按照本发明的第一方面，提出了一种人眼感兴趣物体的位姿识别方法，其包括如下步骤：

S1利用眼动仪上的左眼相机和右眼相机分别识别用户的左右瞳孔的中心以此提取人眼的信息；

S2将识别获得的左右瞳孔中心映射至前景左相机中以得到二维凝视点；

S3利用目标识别与追踪算法提取前景左相机中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；

S4对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机中的位姿；

S5将感兴趣物体在前景左相机中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿。

作为进一步优选的，步骤S1包括如下子步骤：

S11分别采集左眼相机和右眼相机拍摄的图像并进行平滑处理以获得平滑后的灰度图；