[发明专利]一种基于人脸识别和红外检测的人体综合信息获取方法

权利要求书

1.一种基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，包括如下步骤：

S1、通过检测设备获取被检测人员的RGB图像和红外图像；

S2、对RGB图像进行人脸检测，获取RGB图像中所有的人脸位置信息，具体为：

通过第一卷积神经网络进行人脸检测，该第一卷积神经网络的输入为RGB图像，输出为当前图像中所有人脸的位置信息，每个人脸的位置信息表示为(x,y,w,h)，其中，(x,y)表示以RGB图像左上角点为原点时，在RGB图像中的人脸中心位置的坐标，w表示人脸区域的宽度，h表示人脸区域的高度；

第一卷积神经网络的基本结构有：基本卷积层、残差模块、下采样层、RFB-c模块、上采样层和级联结构；

该第一卷积神经网络包括主干网络、连接主干网络的3个检测分支网络，其中，主干网络为：依次连接的基本卷积层、下采样层、残差模块、下采样层、残差模块、下采样层、2个级联的残差模块、RFB-c模块、下采样层、2个级联的残差模块、RFB-c模块、下采样层和残差模块；

第一个检测分支网络从主干网络中的第一个RFB-c模块分出，第二个检测分支网络从第二个RFB-c模块分出，第三个检测分支网络从主干网络最后一层即残差模块分出，每个检测分支网络只包含基本卷积层，在每两个相邻的检测分支网络中，两个检测分支网络在经过第一个基本卷积层后，由一个检测分支网络经过基本卷积层和上采样层，再通过级联结构结合到另一个检测分支网络；

S3、基于人脸位置信息，在RGB图像里的每个人脸位置上的人脸图像进行人脸识别，获取每个人脸位置上的人脸识别结果；

对红外图像上的每一个人脸位置进行温度检测，获取每个人脸位置上的温度检测结果；

S4、把同一人脸位置上的人脸识别结果和温度检测结果相结合，以此得到每个被检测人员的人体综合信息。

2.根据权利要求1所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，所述步骤S1中采集的RGB图像为3通道彩色图，红外图像为单通道灰度图，并且RGB图像和红外图像具有相同的宽度和高度，两个图像中的具体位置一一对应。

3.根据权利要求1所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，步骤S2采用的第一卷积神经网络中，每个检测分支网络的最后一个基本卷积层仅包含一个卷积层，不包含批正则化层和ReLU激活函数；第一卷积神经网络中的其他基本卷积层均包括依次连接的三个部分：卷积层、批量正则化层、ReLU激活函数；

残差模块包括2个分支，其中一个分支包含依次连接的一个卷积核大小为1×1的基本卷积层和一个卷积核大小为3×3的深度可分离卷积层，另一个分支为直连结构；两个分支的输出通过一个级联结构进行结合，从而得到残差模块的输出；

下采样层为卷积参数步长为2的基本卷积层；

上采样层采用的方法是最邻近插值法；

级联结构用于在通道维度上对输入进行叠加操作。

4.根据权利要求1所述的基于人脸识别和红外检测的人体综合信息获取方法，其特征在于，步骤S2采用的第一卷积神经网络中，RFB-c模块包含5个分支：

第一个分支包含依次连接的一个卷积核为1×1的基本卷积层和一个卷积核大小为3×3、采样率为1的空洞卷积层；

第二个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×3的基本卷积层和一个卷积核大小为3×3、采样率为3的空洞卷积层；

第三个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×1的基本卷积层和一个卷积核大小为3×3、采样率为3的空洞卷积层；

第四个分支包含依次连接的一个卷积核为1×1的基本卷积层、一个卷积核为1×3的基本卷积层、一个卷积核为1×1的基本卷积层和一个卷积核大小为3×3、采样率为5的空洞卷积层；

第五个分支为直连结构；

第一个分支、第二个分支、第三个分支和第四个分支进行叠加并通过一个1×1卷积层，然后再通过级联结构和第五个分支相结合，最后再连接至一个ReLU激活函数，从而得到RFB-c模块的输出。