[发明专利]基于唇语密码的人脸识别方法、装置及存储介质

说明书

本发明属于生物识别技术领域，提出了一种基于唇语密码的人脸识别方法、装置及存储介质，方法包括：获得待测主体的读密码视频；通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取所述视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；若唇语密码预测值与唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。本发明通过基于唇语密码的人脸识别方法，可以实现检测快捷且检测精度高的效果。

技术领域

本发明涉及生物识别技术领域，尤其涉及一种基于唇语密码的人脸识别方法、装置及存储介质。

背景技术

传统的密码识别方法中，所使用的密码为数字、字符或者其他符号组合，使用者必须准确记住所使用的密码并且正确输入才能被成功识别，因此传统的密码识别方法存在容易遗忘、记错、操作繁琐等弊端。

而近年来流行的指纹识别、人脸识别、虹膜识别方法能够克服上述传统密码需要记忆、逐个输入的不足，但也存在如下缺陷：1、单纯的指纹识别、人脸识别，面临复制指纹、照片攻击的风险，用复制的指纹以及静态的照片会骗过指纹识别和人脸识别；2、虹膜识别的安全性高些，但是，却存在设备昂贵，需要投入的经济成本较高的问题。

鉴于以上问题的存在，亟需一种检测成本低，且不损失检测准确度的安全识别方法。

发明内容

本发明提供一种基于唇语密码的人脸识别方法、电子装置及计算机可读存储介质，其主要通过dlib+Resnet人脸关键点检测模型，进行唇语图像的筛选；通过基于双向LSTM的唇语识别模型完成对唇语图像的分类，实现了利用唇语作为密码进行人脸识别的技术效果。

为实现上述目的，本发明提供一种基于唇语密码的人脸识别方法，应用于电子装置，方法包括：S110、获得待测主体的读密码视频；S120、通过基于Resnet的人脸检测模型对所述视频进行逐帧检测，获取所述视频中待测主体读密码的起点时刻至终点时刻的时间段内连续帧的唇语图像；S130、根据所述时间段内的连续帧的唇语图像，确定所述时间段内的唇语特征集；S140、将所述唇语特征集输入训练好的基于双向LSTM的唇语识别模型，得到唇语密码预测值；S150、若所述唇语密码预测值与所述唇语识别模型中存储的密码一致，则确认待测主体通过唇语密码识别。

优选的，所述基于双向LSTM的唇语识别模型的构建方法包括：

S210、构建用于获取待测主体的嘴唇特征的初始网络层；所述初始网络层为2D卷积网络；S220、在所述初始网络层上构建用于提取训练集数据中的时间特征的双向LSTM层；S230、在所述双向LSTM层上构建用于输出唇语密码预测值的Softmax层；S240、在所述Softmax层上构建优化网络层；其中，所述优化网络层用于将所述唇语密码预测值输入损失函数进行迭代训练，直至损失函数的值达到设定阈值。

优选的，步骤S140包括，在所述Softmax层中，通过唇语密码预测值公式将所述双向LSTM层提取的时间特征数据计算为唇语密码预测值，所述唇语密码预测值公式如下：P＝W*X+b；其中，P为唇语密码预测值，X为时间特征数据，W为权重，b为偏移量。

优选的，所述步骤S130包括：S310、将所述唇语图像进行归一化；S320、将归一化后的唇语图像存储为规定格式的数据集样本；所述数据集样本包括：样本数、数据序列长度、图像长、图像宽、图像深度。

优选的，所述步骤S120中，通过dlib数据库的特征点模型解析所述唇语图像获取嘴唇特征信息；所述视频中待测主体读密码的起点时刻至终点时刻的时间段通过解析所述读密码视频的声音波形获取。