[发明专利]基于多模态生物特征的人员身份识别系统构建及使用方法

说明书

本发明公开了一种基于多模态生物特征的人员身份识别系统构建方法，它包括：构建生物特征数据库；构建人脸识别子系统；构建步态识别子系统；构建文本无关的声纹识别子系统；构建融合人脸、步态和声纹的综合判别系统，将人脸识别子系统、步态识别子系统和文本无关的声纹识别子系统的输出进行组合，作为特征向量，以最终实际人员身份编码作为输出，进行训练至收敛以最终实际人员身份编码作为输出，进行训练至收敛；解决了针对变电站工作人员进行人体生物特征的身份确认方法存在无法实时静默进行人员身份识别；单独的识别技术容易出现难以判断的情况，比如无法清晰拍摄人脸图像，拍摄的图像无人脸、背景噪声过大导致声纹识别率低等等技术问题。

技术领域

本发明属于生物特征识别技术，尤其涉及一种基于多模态生物特征的人员身份识别系统构建及使用方法。

背景技术

变电站生产环境具有规模庞大、设备繁杂等特点。无关人员或者无权限人员进入生产环境对安全生产造成威胁，而变电站生产环境开放性较高，不易控制人员流动，因此变电站的日常安保工作是保证安全生产的重要环节之一。目前变电站的安保系统主要由人工岗哨、电子门禁、现场人工巡逻、现场环境监视设备等构成。现场环境的监视系统基本上仅仅将现场画面返回后台，仍需要后台人员值守。总体来说，目前现场实时安保系统存在较大的人为风险。

随着自动化和智能化技术及其设备的快速发展和落地实施，基于变电站巡检机器人、现场环境监视探头结合多模态人体生物特征信息识别算法具有较大的发挥空间。基于人体生物特征的身份确认方法凭借远距离、非接触、难以伪装和隐藏的特性得到广泛应用。目前，虽然通过人脸识别的门禁系统应用非常广泛，文本相关的声纹识别和步态识别也有一定应用。但是人脸识别系统需要待检测人员配合拍摄清晰人脸图像，文本相关的声纹识别需要待检测人员说出固定话术，因此二者均需要待检测人员的配合，无法做到无打扰，因此无法实时静默进行人员身份识别。另外，单独的识别技术容易出现难以判断的情况，比如无法清晰拍摄人脸图像，拍摄的图像无人脸、背景噪声过大导致声纹识别率低等。

发明内容

本发明要解决的技术问题：提供一种基于多模态生物特征的人员身份识别系统构建及使用方法，以解决现有技术针对变电站工作人员进行人体生物特征的身份确认方法存在无法实时静默进行人员身份识别；另外，单独的识别技术容易出现难以判断的情况，比如无法清晰拍摄人脸图像，拍摄的图像无人脸、背景噪声过大导致声纹识别率低等等技术问题。

本发明技术方案：

一种基于多模态生物特征的人员身份识别系统构建方法，其特征在于：它包括：

步骤1、构建生物特征数据库，以具有进出权限的工作人员个人为单位，分别采集与实际生产环境相同背景环境下不同情况下的人脸图像数据、行进数据和声音数据，将该人员身份进行编码，作为这些数据的标注并保存；

步骤2、构建人脸识别子系统，提取生物特征数据库中人脸图像数据，对图像进行预处理，以预处理后的像素矩阵作为输入，对应的人员身份编码作为输出，使用优化器进行迭代训练至收敛；

步骤3、构建步态识别子系统，提取生物特征数据库中行进数据，然后进行图像方面的预处理，包括图像增强和归一化，对预处理后的数据序列分别提取人体轮廓关键点和下肢关节点，人体轮廓关键点到中心点距离以及下肢关节点角度作为输入特征，基于深度循环网络构建步态识别子系统，同样以对应人员身份编码作为输出，使用优化器迭代训练至收敛；

步骤4、构建文本无关的声纹识别子系统，提取生物特征数据库中音频数据，进行音频数据的预处理，得到音频数据的频域特征作为输入，基于深度网络和残差网络构建声纹特征提取系统，通过聚类算法进行聚类，使同一个人的声纹特征聚为一类，并将人员身份编码作为该聚类中心的标注，使用优化器迭代训练声纹提取网络至收敛；