[发明专利]面向自动驾驶的人机协同感知方法及系统

说明书

本发明公开了面向自动驾驶的人机协同感知方法及系统，该方法包括：通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，提取脸部特征，获取特征角点；建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，并保存至注视点缓存数据库；基于注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态，构建拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整。本发明通过视觉追踪和人眼注意力机制快速定位智能摄像头中图像中的感兴趣区域，利用感知融合技术加速环境感知系统信息处理速度，能显著降低感知系统硬件运算需求、提升系统实时性，具有较好的经济性。

技术领域

本发明涉及智能驾驶的技术领域，特别涉及一种面向自动驾驶的人机协同感知方法及系统。

背景技术

智能辅助驾驶乃至自动驾驶技术是未来汽车发展的必然趋势。在该技术领域，当前感知系统成为阻碍自动驾驶技术发展的瓶颈。

目前，由于单传感器方案在应对复杂环境时存在的信息单一、不确定性高、可靠性低等先天不足，难以满足感知系统鲁棒性、准确性、稳定性的苛刻要求。相反，多传感器信息融合方案能够形成对不确定性信息的有效互补，已经成为当下感知主流的解决方案。激光雷达、毫米波雷达、摄像头、超声波雷达彼此之间或者多个同类型的多传感器组合感知方案就是为了获取车辆相对全面的车身环境信息，但是此类多传感器组合方案无法避开的弊端就是单位时间处理数据量大、硬件资源需求高，往往难以满意系统的实时性要求、系统不经济。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种面向自动驾驶的人机协同感知方法，能够有效降低单位时间处理数据量，提升系统处理速度。

本发明还提出一种具有上述面向自动驾驶的人机协同感知方法的面向自动驾驶的人机协同感知系统。

根据本发明的第一方面实施例的面向自动驾驶的人机协同感知方法，包括以下步骤：S100，通过设置在车内的不同位置的双目红外CCD拍摄驾驶员头部影像，获取驾驶员面部合成图像，提取脸部特征，获取特征角点，并通过所述特征角点的定位建立眼球坐标系；S200，基于所述眼球坐标系获取驾驶员三维视线，并通过坐标矩阵变换将所述驾驶员三维视线与环境感知摄像头成像像素信息置于同一世界坐标下，建立驾驶员三维视线与环境感知摄像头成像上像素点间的映射关系，获得驾驶员视觉落点，保存至驾驶员注视点缓存数据库；S300，基于所述驾驶员注视点缓存数据库，对注视目标频率与注视时长进行眼动分析，获得眼动状态并标记，并对驾驶员视觉落点与成像的交点的像素区域进行标记，构建拓维环境感知图像数据库；S400，根据所述拓维环境感知图像数据库，对自动驾驶过程中的图像处理神经网络的分配权重进行调整，自适应调整图像像素遍历精细程度和区域。

根据本发明实施例的面向自动驾驶的人机协同感知方法，至少具有如下有益效果：通过视觉追踪和人眼注意力机制快速定位智能摄像头中图像中的感兴趣区域，利用感知融合技术加速环境感知系统信息处理速度，能显著降低感知系统硬件运算需求、提升系统实时性，具有较好的经济性。

根据本发明的一些实施例，所述步骤S100包括：S110，通过所述双目红外CCD拍摄驾驶员头部影像，获得同一时间不同角度的驾驶员面部图像，进行全景合成拼接、灰度处理、二值化处理后，得到所述驾驶员面部合成图像；S120，通过人脸肤色模型，对所述驾驶员面部合成图像进行区分，得出待检区域，并基于人脸模型匹配所述待检区域，得到人脸检测图像，存入历史人脸数据库中；S130，从所述人脸检测图像中提取所述特征角点，识别出两只眼睛的内外眼角、两个嘴角及两个人眼中心点，并根据两内眼角和两嘴角建立人脸平面；S140，基于所述双目红外CCD在世界坐标系的位置和方向，求解所述特征角点的三维空间坐标，进行坐标转换得到所述特征角点的世界坐标，并根据所述特征角点的世界坐标建立所述眼球坐标系。