[发明专利]一种基于可信执行环境的声纹及面部识别验证系统及方法

权利要求书

1.一种基于可信执行环境的声纹及面部识别验证系统，包括声纹特征提取模块，面部特征提取模块、声纹识别验证模块以及面部特征验证模块，其特征在于：

所述的可信执行环境指使用TrustZone技术将云端服务器环境隔离为普通世界和安全世界，将用户特征信息的存储及校验部署在该环境中，提高智能家居系统的安全性；

所述的声纹特征提取模块，用于采集用户语音特征信息；

所述的面部特征提取模块，用于采集用户面部特征信息；

所述的声纹识别验证模块，指文本相关的声纹信息识别，用于用户身份校验的一部分；

所述的面部特征识别，指对所述用户的面部信息识别，用于用户身份校验的一部分。

2.一种基于可信执行环境的声纹及面部识别的验证方法，其特征在于，包括以下步骤：

步骤1、开启用于身份验证的随机文本的显示界面，包括：

1)随机文本显示：

用户打开移动端控制软件，进入认证界面，界面会显示一句验证的随机文本。所述用于验证的随机文本来源于日常会话语料库，作为语音采集的认证信息来源；

2)身份认证按钮：

用户点击“认证”按钮，复述所述文本，移动设备检测所述用户对所述“认证”按钮的操作，根据所述操作启动语音采集及面部信息采集模式，将会开启摄像头和录音，对所述用户声音和面部信息进行采集；

步骤2、启动语音采集模块，对声纹信息进行采集；

用户点击“认证”按钮，将开启所述语音采集模块通过移动端录音器进行录音获取所述用户语音信息，并将所述用户语音信息上传至云端服务器可信执行环境中；

步骤3、启动面部信息采集模块，对面部信息进行采集；

面部信息采集通过移动端摄像头拍摄获取三张所述用户面部图像，并将所述用户面部信息上传至云端服务器可信执行环境中；

步骤4、对用户语音信息进行声纹识别认证；

1)语音预处理；

将采集到的语音由模拟信号转化为数字信号后，将含噪的语音信号通过去噪处理；

2)特征提取；

预处理之后，进行预加重和分帧加窗处理，获取操作得到的帧序列信息的语音帧序列使用倒谱，计算使用梅尔频率倒谱系数(Mel Frequency Cepstral Coefficients,MFCC)作为声纹特征参数，采用MFCC作为语音的特征参数对语音信息进行声纹提取，得到语音信息的声纹特征信息，再使用基于矢量量化方法进行模式匹配；

3)声纹识别比对；

使用基于矢量量化(vector quantity，VQ)方法进行模式匹配，根据文本内容及声纹信息判别是否由同一说话人产生；根据计算得到的相似度，进行身份匹配验证；

步骤5、对用户面部信息进行身份识别认证；

1)图像预处理；

首先采用对数和非线性变换对人脸图像动态范围进行压缩；然后利用锐化掩模滤波算法消除图像模糊，增强人脸图像细节信息。然后，利用直方图均衡化得到灰度归一化的图像，再对图像使用双边滤波其进行平滑滤波处理，可有效去除人脸图像像素噪声；

2)特征提取；

使用基于圆形LBP(Local Binary Pattern，局部二值模式)算法从人脸图像中提取有用的LBP特征，然后对有用的LBP特征进行计算后，利用灰度直方图对其进行描述和统计，最后对各自的灰度直方图进行比较后得出结果；

3)人脸图像识别比对；

将采集验证图像和数据库中存储图像的LBP直方图进行相似度比较，最后使用k近邻分类器近邻学习(k-Nearest Neighbor，kNN)对直方图进行分类识别，选取欧氏距离作为相似度度量标准进行身份识别；

步骤6、根据步骤4和步骤5返回结果，若所述声纹特征信息和面部特征信息的结果识别均正确，则所述用户身份认证成功，否则显示身份认证失败。