[发明专利]面向自动驾驶的人机协同感知方法及系统

权利要求书

1.一种面向自动驾驶的人机协同感知方法，其特征在于，包括以下步骤：

S100，通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像，提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；

S200，基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；

S300，基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；

S400，根据所述拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。

2.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S100包括：

S110，通过所述双目红外CCD拍摄驾驶员头部影像，获得同一时间不同角度的驾驶员面部图像，进行全景合成拼接、灰度处理、二值化处理后，得到所述驾驶员面部合成图像；

S120，通过人脸肤色模型，对所述驾驶员面部合成图像进行区分，得出待检区域，并基于人脸模型匹配所述待检区域，得到人脸检测图像，存入历史人脸数据库中；

S130，从所述人脸检测图像中提取所述特征角点，识别出两只眼睛的内外眼角、两个嘴角及两个人眼中心点，并根据两内眼角和两嘴角建立人脸平面；

S140，基于所述双目红外CCD在世界坐标系的位置和方向，求解所述特征角点的三维空间坐标，进行坐标转换得到所述特征角点的世界坐标，并根据所述特征角点的世界坐标建立所述眼球坐标系。

3.根据权利要求2所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S140还包括：

S141，从所述历史人脸数据库中读取所述人脸检测图像，通过视频流分析驾驶员面部特征变化及视觉注意力变化，对驾驶员精神状态进行检测，获取精神状态评分；

S142，若所述精神状态评分小于设定阈值，则继续通过所述双目红外CCD拍摄驾驶员头部影像获取所述人脸检测图像，重新计算所述精神状态评分；

S143，否则，求解所述特征角点的三维空间坐标，并建立所述眼球坐标系。

4.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S200包括：

S210，对所述驾驶员面部合成图像进行眼球区域识别，截取眼球区域图像，将所述眼球区域图像进行阈值分析，分别获取瞳孔阈值图像和普尔钦斑阈值图像，识别瞳孔和普尔钦斑，并计算出瞳孔中心和普尔钦斑点中心坐标，确立瞳孔-普尔钦斑位置关系映射函数；

S220，根据所述瞳孔-普尔钦斑位置关系映射函数得出所述驾驶员三维视线；

S230，通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系；

S240，对所述驾驶员三维视线与环境感知摄像头成像求交，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库。

5.根据权利要求4所述的面向自动驾驶的人机协同感知方法，其特征在于，所述步骤S220还包括：

S221，通过图像识别获取驾驶员头部特征点相对于相机坐标系的空间位置，建立驾驶员头部坐标系，对头部俯仰角、偏转角、侧倾角、三轴平动数据进行记录，得到头部运动数据；

S222，基于环境模型进行数据融合，通过所述头部运动数据补偿视线追踪数据，推算并输出所述驾驶员三维视线。

6.根据权利要求1所述的面向自动驾驶的人机协同感知方法，其特征在于，所述眼动状态包括：注视、跳视以及平滑尾随跟踪。