[发明专利]基于双目立体视觉的眼球追踪方法、装置、设备及介质

说明书

本申请提供了一种基于双目立体视觉的眼球追踪方法、装置、设备及介质，该方法包括：获取双目事件相机针对用户眼球拍摄的左相机事件图像以及右相机事件图像；基于左相机事件图像以及右相机事件图像进行特征识别与匹配，计算眼球特征点在世界坐标系中的三维空间坐标；基于眼球特征点的三维空间坐标以及预设三维空间立体几何约束模型，计算用户眼球的光轴向量。通过本申请方案的实施，将双目事件相机引入3D视线追踪检测，根据视差还原3D立体几何特征，可为突破当前技术的算法复杂瓶颈提供硬件支撑和前提条件，有效提高了眼球追踪计算效率，且降低了算力平台成本。

技术领域

本申请涉及眼球追踪技术领域，尤其涉及一种基于双目立体视觉的眼球追踪方法、装置、设备及介质。

背景技术

眼球追踪是利用机械、电子、光学等方式获取用户当前注视方向的技术。近年来，眼球追踪发展出了电流记录法、电磁线圈法、反光记录法、双普尔钦像法、角膜反射法等多种眼球追踪分析方法。随着眼动技术研究的不断深入和发展，其应用的领域也越来越广泛，目前已广泛应用于人机交互、虚拟现实、车辆辅助驾驶、人因分析和心理分析等多个领域。

基于相机的三维视线估计方法是目前较为成熟的一种眼球追踪方法，通常利用光源反射以及瞳孔折射等几何成像关系，如：角膜中心、光轴的向量、光轴与视轴的转换关系等，求解视线相关的空间三维信息，估计出三维视线。然而，该方法解算三维视线的过程中涉及到多元高次非线性方程组问题，计算速度慢，算力平台成本高，无法进行低成本、高效的眼球追踪。

发明内容

本申请实施例提供了一种基于双目立体视觉的眼球追踪方法、装置、设备及介质，至少能够解决相关技术中提供的眼球追踪方法的算力平台成本高、眼球追踪效率低的问题。

本申请实施例第一方面提供了一种基于双目立体视觉的眼球追踪方法，包括：获取双目事件相机针对用户眼球拍摄的左相机事件图像以及右相机事件图像；基于所述左相机事件图像以及所述右相机事件图像进行特征识别与匹配，计算眼球特征点在世界坐标系中的第一三维空间坐标；基于所述眼球特征点的所述第一三维空间坐标以及预设三维空间立体几何约束模型，计算所述用户眼球的光轴向量。

本申请实施例第二方面提供了一种基于双目立体视觉的眼球追踪装置，包括：获取模块，用于获取双目事件相机针对用户眼球拍摄的左相机事件图像以及右相机事件图像；第一计算模块，用于基于所述左相机事件图像以及所述右相机事件图像进行特征识别与匹配，计算眼球特征点在世界坐标系中的第一三维空间坐标；第二计算模块，用于基于所述眼球特征点的所述第一三维空间坐标以及预设三维空间立体几何约束模型，计算所述用户眼球的光轴向量。

本申请实施例第三方面提供了一种眼球追踪设备，包括：双目事件相机、存储器及处理器，其中，所述双目事件相机用于拍摄用户眼球相应的左相机事件图像以及右相机事件图像，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的基于双目立体视觉的眼球追踪方法中的各步骤。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的基于双目立体视觉的眼球追踪方法中的各步骤。

由上可见，根据本申请方案所提供的基于双目立体视觉的眼球追踪方法、装置、设备及介质，获取双目事件相机针对用户眼球拍摄的左相机事件图像以及右相机事件图像；基于左相机事件图像以及右相机事件图像进行特征识别与匹配，计算眼球特征点在世界坐标系中的三维空间坐标；基于眼球特征点的三维空间坐标以及预设三维空间立体几何约束模型，计算用户眼球的光轴向量。通过本申请方案的实施，将双目事件相机引入3D视线追踪检测，根据视差还原3D立体几何特征，可为突破当前技术的算法复杂瓶颈提供硬件支撑和前提条件，有效提高了眼球追踪计算效率，且降低了算力平台成本。

附图说明

图1为本申请一实施例提供的基于双目立体视觉的眼球追踪方法的基本流程示意图；