[发明专利]一种基于点云的交通场景视线追踪方法及系统

权利要求书

1.一种基于点云的交通场景视线追踪方法，其特征是：包括以下步骤：

获取驾驶员图像、车外图像数据和点云数据；

对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；

对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；

将转换后的三维坐标转换至雷达坐标系；

对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；

计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；

将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。

2.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：所述眼睛区域包括驾驶员左眼，提取左眼二维坐标，利用左眼两个眼角的坐标平均值代替眼球中心位置。

3.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：进行三维坐标转换的具体过程包括：利用视线估计模型，得到基于人头坐标系的驾驶员左眼视线，转换为视线欧拉角，将左眼二维坐标转换为六元数。

4.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：将转换后的三维坐标转换至雷达坐标系的具体过程为构建相机系统和雷达坐标系的转换关系，利用转换关系进行转换；

具体包括：

将转换相机旋转至与室内相机相同视角，用棋盘格标定单目相机的内外参；

将转换相机翻转至车外相机视角，采用雷达与相机联合标定的方法，得到转换相机坐标系在雷达坐标系下的转换关系；

记录此时转换相机的坐标系相对于固定云台坐标系的相对位置；

利用标定得到外参矩阵做矩阵乘法，得到车内相机坐标系转换至雷达坐标系下的转换关系；

将左眼六元数转换为雷达坐标系下的左眼六元数。

5.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类的具体过程包括采用布料点云滤波算法，分离地面点云，将可能代表地面的点被标记为地面点而不用于聚类，其次，把剩余的地表建筑、障碍物点组分为多个聚类，同一类的点具有相同的一个标签，核心对象邻域内稀疏的点数，聚类后被当做噪声点，过滤掉所有的噪声离群点，标记为-1，另作存储；对分隔聚类点按照标签存储。

6.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：计算每类形心坐标的具体过程包括：在得到聚类后的点云坐标后，计算每一类簇的形心坐标，在三维空间中，假设每类障碍物的质量分布均匀，取将障碍物类分为相等的两部分的所有超平面的交点，即为该类所有点的平均值。

7.如权利要求1所述的一种基于点云的交通场景视线追踪方法，其特征是：计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标的具体过程包括：计算各个聚类中的形心坐标离视线的欧式距离，为每类点云增加欧氏距离属性，保留欧氏距离TopK小的形心坐标。

8.一种基于点云的交通场景视线追踪系统，其特征是：包括：

图像采集模块，被配置为获取驾驶员图像、车外图像数据和点云数据；

关键点提取模块，被配置为对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；

视线估计模块，被配置为对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；

坐标转换模块，被配置为将转换后的三维坐标转换至雷达坐标系；

聚类模块，被配置为对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；

计算模块，被配置为计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；

图像融合模块，被配置为将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。