[发明专利]基于双目立体视觉的眼球追踪方法、装置、设备及介质

权利要求书

1.一种基于双目立体视觉的眼球追踪方法，其特征在于，包括：

获取双目事件相机针对用户眼球拍摄的左相机事件图像以及右相机事件图像；其中，所述双目事件相机包括共焦平面的左事件相机以及右事件相机；

基于所述左相机事件图像以及所述右相机事件图像进行特征识别与匹配，计算眼球特征点在世界坐标系中的第一三维空间坐标；

基于所述眼球特征点的所述第一三维空间坐标以及预设三维空间立体几何约束模型，计算所述用户眼球的光轴向量。

2.根据权利要求1所述的眼球追踪方法，其特征在于，所述基于所述左相机事件图像以及所述右相机事件图像进行特征识别与匹配，计算眼球特征点在世界坐标系中的第一三维空间坐标的步骤，包括：

基于所述左相机事件图像以及所述右相机事件图像进行特征识别与匹配，分别获取眼球特征点在所述左事件相机以及所述右事件相机的图像坐标系中的第二三维空间坐标；

基于两个所述第二三维空间坐标计算所述眼球特征点在世界坐标系中的第一三维空间坐标。

3.根据权利要求2所述的眼球追踪方法，其特征在于，所述基于两个所述第二三维空间坐标计算所述眼球特征点在世界坐标系中的第一三维空间坐标的步骤，包括：

分别获取所述左事件相机以及所述右事件相机的初始标定相对外参矩阵以及初始标定内参矩阵；其中，相对外参矩阵包括相对旋转矩阵以及相对平移向量；

结合所述左事件相机以及所述右事件相机相应的所述第二三维空间坐标、所述初始标定相对外参矩阵以及所述初始标定内参矩阵，计算所述眼球特征点在世界坐标系中的第一三维空间坐标。

4.根据权利要求3所述的眼球追踪方法，其特征在于，所述结合所述左事件相机以及所述右事件相机相应的第二三维空间坐标、所述初始标定相对外参矩阵以及所述初始标定内参矩阵，计算所述眼球特征点在世界坐标系中的第一三维空间坐标的步骤，包括：

结合所述左事件相机以及所述右事件相机相应的第二三维空间坐标、所述初始标定相对外参矩阵以及所述初始标定内参矩阵，按照预设三维立体成像公式计算所述眼球特征点在世界坐标系中的第一三维空间坐标；所述三维立体成像公式表示为：

其中，表示所述左事件相机和所述右事件相机相应的所述初始标定内参矩阵，和分别表示所述左事件相机和所述右事件相机相应的所述初始标定相对外参矩阵的相对旋转矩阵和相对平移向量，表示所述左事件相机和所述右事件相机相应的第二三维空间坐标，和分别表示所述左事件相机和所述右事件相机的图像坐标系下的尺度因子，表示所述眼球特征点的所述第一三维空间坐标。

5.根据权利要求1至4中任意一项所述的眼球追踪方法，其特征在于，所述眼球特征点包括瞳孔中心特征点以及多个瞳孔边缘特征点；所述基于所述眼球特征点的所述第一三维空间坐标以及预设三维空间立体几何约束模型，计算所述用户眼球的光轴向量的步骤，包括：

基于预设三维空间立体几何约束模型计算世界坐标系下的角膜中心特征点坐标；

基于所述瞳孔中心特征点的所述第一三维空间坐标以及所述角膜中心特征点坐标，计算所述用户眼球的光轴向量。

6.根据权利要求5所述的眼球追踪方法，其特征在于，所述基于预设三维空间立体几何约束模型计算世界坐标系下的角膜中心特征点坐标的步骤，包括：

分别获取所述瞳孔中心特征点以及多个所述瞳孔边缘特征点在所述左事件相机以及所述右事件相机的图像坐标系中的第二三维空间坐标，以及获取所述左事件相机与所述右事件相机的相机光心，然后输入至预设三维空间立体几何约束模型，建立待求解方程组；

基于所述待求解方程组求解世界坐标系下的角膜中心特征点坐标。