[发明专利]视线追踪系统、眼动仪、视线追踪方法、设备及介质

说明书

本发明公开了一种视线追踪系统、眼动仪、视线追踪方法、设备及介质，一实施例的视线追踪系统包括眼镜式头戴装置、定位装置和控制器，其中眼镜式头戴装置，包括设置在其上的定位标识、用于采集佩戴用户左眼图像和右眼图像的第二眼部图像采集器；定位装置与外部显示装置对应设置，用于采集眼镜式头戴装置的位姿图像的位姿图像采集器；控制器根据定位装置采集的位姿图像和定位标识获取眼镜式头戴装置基于世界坐标系的位姿坐标，根据眼镜式头戴装置采集的左眼图像、右眼图像和定位标识分别获取基于头戴坐标系的左眼和右眼瞳孔坐标，将位姿坐标、左眼和右眼瞳孔坐标进行坐标融合，并根据预设视线获取模型获取佩戴用户注视外部显示装置的视线位置。

技术领域

本发明涉及虚拟现实交互领域，特别是涉及一种视线追踪系统、眼动仪、视线追踪方法、设备及介质。

背景技术

现有技术的视线追踪装置使用距离受限，并且用户佩戴对应的头戴设备后的头动范围有限，在进行视线追踪的过程中，现有的视线追踪装置的视线追踪精度并不准确。另一方面，当前市场上的视线追踪装置的价格昂贵，基本造价在一万以上，更高的价格甚至达到了10-30万。

发明内容

为了解决上述问题至少之一，本发明第一个实施例提供一种视线追踪系统，包括眼镜式头戴装置、定位装置和控制器，其中：

所述眼镜式头戴装置，包括设置在其上的定位标识、用于采集佩戴用户左眼图像的第一眼部图像采集器、以及用于采集所述佩戴用户右眼图像的第二眼部图像采集器；

所述定位装置，与外部显示装置对应设置，包括用于采集所述眼镜式头戴装置的位姿图像的至少两个位姿图像采集器；

所述控制器，用于根据所述定位装置采集的位姿图像和所述定位标识获取所述眼镜式头戴装置基于世界坐标系的位姿坐标，根据所述眼镜式头戴装置采集的左眼图像、右眼图像和所述定位标识分别获取基于头戴坐标系的左眼瞳孔坐标和右眼瞳孔坐标，将所述位姿坐标、左眼瞳孔坐标和右眼瞳孔坐标进行坐标融合，并根据预设置的视线获取模型获取所述佩戴用户注视所述外部显示装置的视线位置。

进一步的，所述眼镜式头戴装置，包括对应左眼的第一镜框、对应右眼的第二镜框和镜架，其中，

所述第一镜框包括第一框体、设置在所述第一框体上的第一定位标识、设置在所述第一框体上的第一支架和固定在所述第一支架上的所述第一眼部图像采集器，

所述第二镜框包括第二框体、设置在所述第二框体上的第二定位标识、设置在所述第二框体上的第二支架和固定在所述第二支架上的所述第二眼部图像采集器，

所述镜架包括鼻梁桥和设置在所述鼻梁桥上的第三定位标识，所述头戴坐标系的坐标原点为所述第三定位标识的中心点；其中

所述第一眼部图像包括所述第一定位标识和第三定位标识，所述第二眼部图像包括所述第二定位标识和第三定位标识。

进一步的，所述定位装置设置在所述外部显示装置的底部，包括第一位姿图像采集器、与所述第一位姿图像采集器对应设置的第一灯组、第二位姿图像采集器、以及与所述第二位姿图像采集器对应设置的第二灯组；其中

所述第一位姿图像采集器与所述第一框体对应设置，所述世界坐标系的坐标原点为所述第一位姿图像采集器的中心点；

所述第二位姿图像采集器与所述第二框体对应设置，并且所述第一位姿图像采集器和第二位姿图像采集器相对于所述外部显示装置对称设置。

进一步的，所述第一位姿图像采集器和第二位姿图像采集器为第一红外相机，具有第一分辨率和第一帧速，所述第一灯组和第二灯组为红外灯组；

所述第一眼部图像采集器和第二眼部图像采集器为第二红外相机，具有第二分辨率和第二帧速，所述第一定位标识、第二定位标识和第三定位标识为黑色；其中