[发明专利]一种基于点云的交通场景视线追踪方法及系统

说明书

本发明提供了一种基于点云的交通场景视线追踪方法及系统，获取驾驶员图像、车外图像数据和点云数据；对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；将转换后的三维坐标转换至雷达坐标系；对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。本发明能够检测到驾驶员当前正在看向的目标物体或区域，解决头部偏转时视线追踪定位不精准等问题。

技术领域

本发明属于驾驶员注意力追踪技术领域，具体涉及一种基于点云的交通场景视线追踪方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

车辆辅助驾驶系统(ADAS)在减少交通事故方面发挥着越来越重要的作用。近年来，ADAS中的注视估计是智能座舱系统中的一个热门话题，有人提出用它来监测驾驶员的注意力状态。但是驾驶员注视估计存在一些困难，包括头部姿态、捕捉方向、遮挡、不同驾驶员的个性化、实时性要求等。这些困难使得驾驶员的注视估计仍然是一个待解决的问题。

目前有研究学者提出可以通过可穿戴智能眼镜或头部方位传感器等设备来监测驾驶员当前状态；然而，在真实驾驶环境中，基于传感器的监测方法会对驾驶员产生干扰，造成不可预测的风险，也会影响驾驶员的驾驶体验，并不能反映真实结果。

发明内容

本发明为了解决上述问题，提出了一种基于点云的交通场景视线追踪方法及系统，本发明能够检测到驾驶员当前正在看向的目标物体或区域，解决头部偏转时视线追踪定位不精准等问题。

根据一些实施例，本发明采用如下技术方案：

一种基于点云的交通场景视线追踪方法，包括以下步骤：

获取驾驶员图像、车外图像数据和点云数据；

对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；

对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；

将转换后的三维坐标转换至雷达坐标系；

对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；

计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；

将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。

作为可选择的实施方式，所述眼睛区域包括驾驶员左眼，提取左眼二维坐标，利用左眼两个眼角的坐标平均值代替眼球中心位置。

作为可选择的实施方式，进行三维坐标转换的具体过程包括：利用视线估计模型，得到基于人头坐标系的驾驶员左眼视线，转换为视线欧拉角，将左眼二维坐标转换为六元数。

作为可选择的实施方式，将转换后的三维坐标转换至雷达坐标系的具体过程为构建相机系统和雷达坐标系的转换关系，利用转换关系进行转换。

作为进一步的，具体包括：

将转换相机旋转至与室内相机相同视角，用棋盘格标定单目相机的内外参；

将转换相机翻转至车外相机视角，采用雷达与相机联合标定的方法，得到转换相机坐标系在雷达坐标系下的转换关系；

记录此时转换相机的坐标系相对于固定云台坐标系的相对位置；

利用标定得到外参矩阵做矩阵乘法，得到车内相机坐标系转换至雷达坐标系下的转换关系；