[发明专利]一种基于多模态技术的驾驶状态检测预警系统及方法

说明书

本发明涉及一种基于多模态技术的驾驶状态检测预警系统及方法，以解决高速驾驶过程中驾驶员易出现红视或黑视现象，进而导致严重驾驶事故的技术问题。该系统包括头盔单元及远程控制模块；头盔单元包括外壳、眼动追踪检测模块、脑血氧检测模块、信号处理模块、语音交互模块、供电模块及基准坐标构建模块。该方法包括：1、佩戴头盔单元，构建驾驶区域的基准坐标系，划分出至少一个高热度区域；2、启动头盔单元各个模块，对驾驶员的眼球毛细血管纹理特征、注意力机制分布特征及脑血氧实时数据特征进行实时检测并根据检测结果发布预警信号。本发明通过多通道、多维度、多模态分析，实时对驾驶员状态进行安全评估并发出预警。

技术领域

本发明涉及驾驶状态检测系统和方法，具体涉及一种基于多模态技术的驾驶状态检测预警系统及方法。

背景技术

在飞机或车辆的驾驶过程中，当速度过快时，驾驶员会频繁出现“红视”或“黑视”现象，即当驾驶员承受的过载太大，导致人体的血液不通，头上的眼部缺血，视力模糊，看不见东西，此时注意力机制将会发生异常，即为黑视；如果血液往头部涌，驾驶员的脑部会充血形成高压，此时头部剧烈疼痛、脸部肿胀、眼球毛细血管发生破裂，即产生红视，处于此状态的驾驶员看外面的世界就如同戴了一副红色眼镜，周边东西都是红色，即为红视。

红视发生时，人体眼球的充血量会有明显的变化；无论“红视”或“黑视”，脑血氧含量都会发生急剧变化，易造成严重的驾驶操作失误，因此，亟需一种装置和方法对驾驶员的驾驶状态进行实时检测并根据检测结果发出预警。

发明内容

本发明目的在于解决高速驾驶过程中驾驶员易出现严重影响驾驶操作的红视或黑视现象，进而导致严重驾驶事故的技术问题，提出一种基于多模态技术的驾驶状态检测预警系统及方法，通过眼动追踪技术、眼球毛细血管检测技术以及脑血氧检测技术，深入挖掘驾驶员的注意力机制分布特征，眼球毛细血管纹理特征以及脑血氧实时数据特征，进行多通道、多维度、多模态融合分析，实时对驾驶员状态进行安全评估并发出相应的预警。

本发明的技术方案为：

一种基于多模态技术的驾驶状态检测预警系统，其特殊之处在于：包括头盔单元和远程控制模块；

所述头盔单元包括外壳及设置在外壳上的眼动追踪检测模块、脑血氧检测模块、信号处理模块、语音交互模块、供电模块和基准坐标构建模块；

所述眼动追踪检测模块包括设置在外壳上的第一可调节支架和集成设置在第一可调节支架上的摄像头模组；

所述脑血氧检测模块包括至少一个脑血氧传感器，所述脑血氧传感器与大脑部位贴合设置；

所述信号处理模块用于接收摄像头模组和脑血氧检测模块的输出信息，并进行信息处理和输出；

所述语音交互模块用于将信号处理模块输出的预警信息以语音形式发送给驾驶员；

所述供电模块作为电源，与摄像头模组、脑血氧检测模块、信号处理模块、语音交互模块及基准坐标构建模块电连接；

所述基准坐标构建模块用于构建驾驶区域的基准坐标系，并在基准坐标系中划分出至少一个形状规则的高热度区域，并将基准坐标系和高热度区域传输给信号处理模块；所述远程控制模块接收信号处理模块的输出，并根据输出信息进行远程控制。

进一步地，所述头盔单元还包括前置护目镜；

所述前置护目镜设置在外壳上，且位于摄像头模组与驾驶员眼部之间；

所述语音交互模块包括设置在外壳上的第二可调节支架和设置在第二可调节支架上的语音交互组件，语音交互组件通过信号处理模块控制前置护目镜的开关，所述前置护目镜为电动护目镜。

进一步地，所述摄像头模组包括红外摄像头与可见光摄像头；所述红外摄像头用于捕捉驾驶员的实时视线；所述可见光摄像头用于对眼部图像进行采集，实时监测驾驶员巩膜和虹膜的充血状况，获取眼球毛细血管纹理特征。

进一步地，处理模块包含数据接收子模块、特征运算子模块以及指令输出子模块；