[发明专利]基于多模态生物特征的人员身份识别系统构建及使用方法

权利要求书

1.一种基于多模态生物特征的人员身份识别系统构建方法，其特征在于：它包括：

步骤1、构建生物特征数据库，以具有进出权限的工作人员个人为单位，分别采集与实际生产环境相同背景环境下不同情况下的人脸图像数据、行进数据和声音数据，将该人员身份进行编码，作为这些数据的标注并保存；

步骤2、构建人脸识别子系统，提取生物特征数据库中人脸图像数据，对图像进行预处理，以预处理后的像素矩阵作为输入，对应的人员身份编码作为输出，使用优化器进行迭代训练至收敛；

步骤3、构建步态识别子系统，提取生物特征数据库中行进数据，然后进行图像方面的预处理，包括图像增强和归一化，对预处理后的数据序列分别提取人体轮廓关键点和下肢关节点，人体轮廓关键点到中心点距离以及下肢关节点角度作为输入特征，基于深度循环网络构建步态识别子系统，同样以对应人员身份编码作为输出，使用优化器迭代训练至收敛；

步骤4、构建文本无关的声纹识别子系统，提取生物特征数据库中音频数据，进行音频数据的预处理，得到音频数据的频域特征作为输入，基于深度网络和残差网络构建声纹特征提取系统，通过聚类算法进行聚类，使同一个人的声纹特征聚为一类，并将人员身份编码作为该聚类中心的标注，使用优化器迭代训练声纹提取网络至收敛；

所述构建文本无关的声纹识别子系统的具体方法包括：对生物特征数据库中音频数据进行预处理，首先使用WebRTC算法对音频进行去噪，然后使用VAD算法进行切割，切除无人声的静音部分，然后对VAD片段进行加窗分帧并进行短傅里叶变换得到频谱特征，使用80维的Mel滤波器进行滤波，得到80维的Mel特征频谱作为声纹提取网络的输入，基于深度网络构建声纹提取网络，提取网络包括输入层、卷积层、残差模块和一个全连接层，全连接层的输出即为声纹特征，使用Kmeans算法无监督的对声纹特征进行聚类，将聚类结果保存在聚类中心，并以对应的embedding人员编码进行标记；使用Adam优化器训练声纹提取网络至收敛，Kmeans算法最大迭代次数设为1000次；

步骤5、构建融合人脸、步态和声纹的综合判别系统，将人脸识别子系统、步态识别子系统和文本无关的声纹识别子系统的输出进行组合，作为特征向量，使用多分类算法构建融合人脸、步态和声纹的综合判别系统，以最终实际人员身份编码作为输出，进行训练至收敛；

步骤6、将巡检机器人搭载的传感器或现场监控探头获取的传感数据通过通信系统传输至集控平台；集控平台根据不同数据类型进行分发至各个子系统；

步骤7、对于人脸图像数据进行预处理，使用步骤2同样的图像预处理方法获取像素矩阵后输入训练收敛的人脸识别子系统，对于采集的步态数据，使用步骤3同样的预处理方法进行预处理提取人体轮廓关键点和下肢关节点，人体轮廓关键点到中心点距离以及下肢关节点角度，组合后输入训练收敛的步态识别子系统中；对于音频数据，使用步骤4同样的数据预处理方法得到频域特征，输入文本无关的声纹识别子系统的声纹特征提取模块，获取声纹特征，同样通过聚类算法得到当前声纹特征属于的类别，即人员编码；

步骤8：对步骤7中三个子系统的输出进行组合，输入步骤5中训练收敛的融合人脸、步态和声纹的综合判别系统，得到最终人员身份编码；

步骤9：不断重复步骤6至步骤8。

2.根据权利要求1所述的一种基于多模态生物特征的人员身份识别系统构建方法，其特征在于：在构建生物特征数据库时，每人每种生物特征的采集数量要一致，但是每人采集的声音数据不需要使用相同话术，仅需要保证每句话的长度应相同即可。

3.根据权利要求1所述的一种基于多模态生物特征的人员身份识别系统构建方法，其特征在于：所述对图像进行预处理包括对人脸是否存在的检测、人脸扶正、图像增强和归一化处理。

4.根据权利要求1所述的一种基于多模态生物特征的人员身份识别系统构建方法，其特征在于：若行进数据为视频数据，视频数据的预处理包括提取关键帧序列，所述关键帧序列为步态变化的前后帧。

5.根据权利要求1所述的一种基于多模态生物特征的人员身份识别系统构建方法，其特征在于：对于人脸图像数据预处理过程中包括对是否存在人脸的判别，若不存在人脸，使用一个不影响最终判别结果的常数组成的向量代替人脸识别子系统判断的输出向量。