[发明专利]一种从近红外光到可见光的跨模态眼睛状态识别方法

权利要求书

1.一种从近红外光到可见光的跨模态眼睛状态识别方法，其特征在于，包括以下步骤：

S1、使用眼睛状态数据集增广方法生成可见光下的眼睛状态样本，构建可见光眼睛状态数据集；

S2、获取近红外眼睛状态数据集，与步骤S1中获得的可见光眼睛状态数据集混合，构建训练集和验证集；

S3、构建从近红外光到可见光的跨模态眼睛状态识别框架，包括图像预处理模块、梯度提取模块、梯度信息辅助网络、信息融合模块和注意力卷积主干网络；

S4、采用图像预处理模块对自训练集中输入的眼睛状态样本进行处理，获得预处理图像；

S5、采用梯度提取模块对自训练集中输入的眼睛状态样本提取梯度信息；

S6、采用注意力卷积主干网络识别眼睛状态；

S7、采用步骤S2中的训练集和验证集对从近红外光到可见光的跨模态眼睛状态识别框架进行模型训练，重复步骤S3～步骤S7，直至从近红外光到可见光的跨模态眼睛状态识别框架收敛；

S8、将待识别眼睛图像输入收敛的从近红外光到可见光的跨模态眼睛状态识别框架中，完成眼睛状态的识别；

步骤S1中具体包括以下步骤：

S1.1、人脸图像生成：

采用生成对抗网络作为生成模型，使用公开的可见光人脸数据集作为训练集进行训练，直至生成模型收敛，然后使用收敛的生成模型生成可见光下指定眼睛状态的人脸图像；

S1.2、眼睛区域自动提取：

从步骤S1.1中获得的可见光下指定眼睛状态的人脸图像提取人脸，然后提取面部关键点；再按照面部关键点与眼睛区域的关系，得到眼睛的坐标，进而得到可见光眼睛状态数据集的样本；

步骤S2中，采用近红外主动摄像头采集眼睛图像，并手动标注，构建近红外眼睛状态数据集，或采用现有的近红外眼睛状态数据集；

步骤S3中，从近红外光到可见光的跨模态眼睛状态识别框架中，图像预处理模块用于根据输入的眼睛状态样本得到预处理图像并输入注意力卷积主干网络；

梯度提取模块用于对输入的眼睛状态样本进行梯度提取得到眼睛状态样本的梯度信息图并输入梯度信息辅助网络；

梯度信息辅助网络根据梯度信息图进一步提取梯度信息得到梯度特征图；

信息融合模块用于在注意力卷积主干网络中融入梯度信息辅助网络提取的梯度信息；

注意力卷积主干网络输出输入的眼睛状态样本中眼睛的状态；

注意力卷积主干网络包括多个卷积块，每个卷积块均包括多个卷积层、 归一化层和池化层，且每个卷积块的第一个卷积层的步长为2，以实现对上一个块的下采样；除了最后一个卷积块，在每个卷积块的后面均添加压缩激励注意力模块，引入注意力机制；在最后一个卷积块的后面依次添加全局池化层和全连接层；

梯度信息辅助网络具体如下：

首先使用步长为2，大小为7x7的卷积核对梯度信息图进行卷积，后依次接归一化层、激活层以及步长为2最大池化层Pool，之后是两层参数相同且后接归一化层和激活层的卷积层，提取最大池化层Pool的输出与最后一层卷积层的输出相加，获得梯度特征图；

注意力卷积主干网络在前向推理时，通过信息融合模块融合梯度信息辅助网络的梯度信息，具体如下：

获得注意力卷积主干网络中卷积块的特征图；获得梯度信息辅助网络输出的梯度特征图，并将其下采样至卷积块的特征图的尺寸；将下采样的梯度特征图与卷积块的特征图融合得到融合特征图，对融合特征图的通道进行下采样，并将下采样后的融合特征图的元素变换至0至1之间权重，将得到的权重与卷积块的特征图逐元素点乘之后，再与卷积块的特征图逐元素相加，作为下一个卷积块的输入；

注意力卷积主干网络推理结束之后，得到眼睛状态识别的结果。

2.根据权利要求1所述的一种从近红外光到可见光的跨模态眼睛状态识别方法，其特征在于，图像预处理模块中，具体处理如下：

对输入的眼睛状态样本进行预处理获取预处理输出图像，预处理方式包括图像直方图均衡化或Retinex图像增强方法；

对输入的眼睛状态样本进行灰度化获取灰度化图像；

将预处理输出图像和灰度化图像按通道融合，融合得到输入注意力卷积主干网络的预处理图像。

3.根据权利要求1所述的一种从近红外光到可见光的跨模态眼睛状态识别方法，其特征在于，梯度提取模块中，使用Canny边缘检测算子对输入的眼睛状态样本提取梯度信息得到梯度信息图。