[发明专利]一种基于单目摄像头的视线测量方法及装置

说明书

本发明提供了一种基于单目摄像头的视线测量方法及装置，通过基于第一摄像头在观测点拍摄的标定板的第一图像，获取观测点在标定板的第一坐标位置，以及基于第二摄像头在预设位置拍摄的标定板的第二图像，获取标定板中每个坐标位置在第二摄像头的第二坐标位置，以使将观测点在标定板的第一坐标位置转换为在第二摄像头的第三坐标位置，同时基于获取第二摄像头在预设位置拍摄的人脸图像，获取人脸图像中的瞳孔在人脸坐标系中的第四坐标位置，并计算瞳孔在第二摄像头的第五坐标位置；最后根据第三坐标位置和第五坐标位置，计算视线测量结果。与现有技术相比，本方法通过摄像头和标定板，实现对视线数据的测量，使得操作简单高效，适用性较广。

技术领域

本发明涉及视线追踪的技术领域，特别是涉及一种基于单目摄像头的视线测量方法及装置。

背景技术

视线追踪技术是利用软件算法，光学，机械，电子等检测方式获取受试者当前观察方向的技术，它广泛应用于人机交互、辅助驾驶、心理研究、虚拟现实和军事等多个领域。

在辅助驾驶方面，人们开始尝试应用视线追踪技术来获取驾驶室内驾驶员的视线，来实现对驾驶员驾驶状态的监控；但由于驾驶员的视线范围较广，现有的视线测量方法需要安装大量设备来对视线进行追踪测量，但由于驾驶室内地方狭小，环境复杂，难以布置视线测量设备来获取驾驶员的视线测量数据。

发明内容

本发明要解决的技术问题是：提供一种基于单目摄像头的视线测量方法及装置，通过摄像头和标定板，实现对视线数据的测量，使得操作简单高效，适用性较广。

为了解决上述技术问题，本发明提供了一种基于单目摄像头的视线测量方法，包括：

获取第一摄像头基于观测点拍摄的标定板的第一图像，对所述第一图像进行检测，其中，所述观测点包括后视镜，仪表盘，车窗和中控屏；

当检测到所述第一图像中存在阿鲁克标记时，根据设置的所述标定板的坐标系和所述第一摄像头的坐标系，计算所述标定板的坐标系相对于所述第一摄像头的坐标系的旋转矩阵和平移向量，以使得到所述观测点在所述标定板的第一坐标位置；

获取第二摄像头基于预设位置拍摄的所述标定板的第二图像，根据设置的所述第二摄像头的坐标系，计算所述标定板中每个坐标位置在所述第二摄像头的第二坐标位置，并根据所述第一坐标位置，得到所述观测点在所述第二摄像头的第三坐标位置；

获取所述第二摄像头基于预设位置拍摄的人脸图像，根据设置的人脸坐标系，获取并根据所述人脸图像中的瞳孔在所述人脸坐标系中的第四坐标位置，并计算所述瞳孔在所述第二摄像头的第五坐标位置；

根据所述第三坐标位置和所述第五坐标位置，计算视线测量结果。

进一步地，所述获取所述第二摄像头基于预设位置拍摄的人脸图像，根据设置的人脸坐标系，获取并根据所述人脸图像中的瞳孔在所述人脸坐标系中的第四坐标位置，并计算所述瞳孔在所述第二摄像头的第五坐标位置，具体为：

获取所述第二摄像头基于预设位置拍摄的人脸图像，检测所述人脸图像中是否包含人脸；

当检测到人脸时，获取所述人脸的特征点，基于设置的人脸坐标系，获取所述特征点在所述人脸坐标系中的第四坐标位置，其中，所述特征点包括瞳孔；

将所述第四坐标位置与默认脸部模型进行匹配，获取所述瞳孔的归一化坐标，同时获取所述人脸坐标系相对于所述第二摄像头的坐标系的旋转矩阵和平移向量；

根据所述瞳孔的归一化坐标和所述人脸坐标系相对于所述第二摄像头的坐标系的旋转矩阵和平移向量，计算所述瞳孔在所述第二摄像头的第五坐标位置。

进一步地，所述设置的所述标定板的坐标系和所述第一摄像头的坐标系，具体为：