[发明专利]一种基于多模态技术的驾驶状态检测预警系统及方法

权利要求书

1.一种基于多模态技术的驾驶状态检测预警系统，其特征在于：包括头盔单元和远程控制模块；

所述头盔单元包括外壳（1）及设置在外壳（1）上的眼动追踪检测模块、脑血氧检测模块（6）、信号处理模块（7）、语音交互模块、供电模块（8）和基准坐标构建模块；

所述眼动追踪检测模块包括设置在外壳（1）上的第一可调节支架（2）和集成设置在第一可调节支架（2）上的摄像头模组（3）；

所述脑血氧检测模块（6）包括至少一个脑血氧传感器，所述脑血氧传感器与大脑部位贴合设置；

所述信号处理模块（7）用于接收摄像头模组（3）和脑血氧检测模块（6）的输出信息，并进行信息处理和输出；

所述语音交互模块用于将信号处理模块（7）输出的预警信息以语音形式发送给驾驶员；

所述供电模块（8）作为电源，与摄像头模组（3）、脑血氧检测模块（6）、信号处理模块（7）、语音交互模块及基准坐标构建模块电连接；

所述基准坐标构建模块用于构建驾驶区域的基准坐标系，并在基准坐标系中划分出至少一个形状规则的高热度区域，并将基准坐标系和高热度区域传输给信号处理模块（7）；所述远程控制模块接收信号处理模块（7）的输出，并根据输出信息进行远程控制。

2.根据权利要求1所述的基于多模态技术的驾驶状态检测预警系统，其特征在于：

所述头盔单元还包括前置护目镜（5）；

所述前置护目镜（5）设置在外壳（1）上，且位于摄像头模组（3）与驾驶员眼部之间；

所述语音交互模块包括设置在外壳（1）上的第二可调节支架（10）和设置在第二可调节支架（10）上的语音交互组件（4），语音交互组件（4）通过信号处理模块（7）控制前置护目镜（5）的开关，所述前置护目镜（5）为电动护目镜。

3.根据权利要求2所述的基于多模态技术的驾驶状态检测预警系统，其特征在于：

所述摄像头模组（3）包括红外摄像头与可见光摄像头；所述红外摄像头用于捕捉驾驶员的实时视线；所述可见光摄像头用于对眼部图像进行采集，实时监测驾驶员巩膜和虹膜的充血状况，获取眼球毛细血管纹理特征。

4.根据权利要求1-3任一所述的基于多模态技术的驾驶状态检测预警系统，其特征在于：

所述信号处理模块（7）包含数据接收子模块、特征运算子模块以及指令输出子模块；

数据接收子模块用于接收摄像头模组（3）、脑血氧检测模块（6）和基准坐标构建模块的输出信息；

特征运算子模块包括多种计算模型，用于对数据接收子模块接收的信息进行计算分析；

指令输出子模块用于将特征运算子模块的计算分析结果反馈给驾驶员或远程控制模块。

5.根据权利要求4所述的基于多模态技术的驾驶状态检测预警系统，其特征在于：

所述脑血氧检测模块（6）设置在外壳（1）上与大脑前额头对应的位置，且脑血氧检测模块（6）以贴片方式贴合在前额头部位；

所述脑血氧传感器设置在贴片内部。