[发明专利]一种多模态生物特征身份认证方法及系统

权利要求书

1.一种多模态生物特征身份认证系统，包括图像获取模块、语音获取模块、主处理模块和存储模块，其特征在于：所述主处理模块进一步包括：与所述图像获取模块和语音获取模块电连接的控制单元，与所述控制单元电连接的人脸识别单元、语音识别单元和唇形与语音同步检测单元；存储模块分别与所述人脸识别单元和语音识别单元连接；所述控制单元根据所述身份认证装置的当前识别流程将从图像获取模块和语音获取模块接收到的生物特征图像或语音信息发送给人脸识别单元、语音识别单元或唇形与语音同步检测单元进行识别，获得识别结果；当控制单元根据预设的身份认证流程判断所述身份认证装置的当前识别流程为人脸识别时，将接收到的生物特征图像发送给所述人脸识别单元进行识别；当控制单元根据预设的身份认证流程判断所述身份认证装置的当前识别流程为语音识别时，将接收到的生物特征图像发送给所述语音识别单元进行识别；当控制单元根据预设的身份认证流程判断所述身份认证装置的当前识别流程为唇形与语音同步识别时，将接收到的生物特征图像和语音信息发送给所述唇形与语音同步检测单元进行识别。

2.一种如权利要求1所述的多模态生物特征身份认证系统的认证方法，其特征在于，其认证方法如下：

1）信息获取：通过图像获取模块获取用户的脸部图像信息，通过语音获取模块获取用户的语音信息；

2）人脸检测及识别：采用预置的人脸识别指令对得到的图像进行识别；所述采用预置的人脸识别指令对所述待认证的人脸图像进行识别步骤具体包括预处理、人脸检测、人脸关键点定位、归一化、人脸特征提取等操作进行人脸识别，同时获得人脸唇形信息，并在数据库中寻找最相似人脸，获取相似度；

3）语音检测及识别：采用预置的语音识别指令对得到的语音进行识别；所述采用预置的语音识别指令对所述待认证的语音信息进行识别步骤具体包括对采集到的语音信息进行声音信号的分割，采用线性预测倒谱技术( LPCC) 或者 Mel 频率倒谱系数( MFCC)等方法对语音特征参数进行提取，使用模板匹配方法、 最近邻方法、 神经网络方法、 混合马尔可夫模型方法或混合高斯模型(GMM) 方法中的一种对说话人的语音进行识别，并在数据库中寻找最佳拟合，获取相似度；

4）唇形与语音同步检测：采用预置的唇形与语音同步检测指令对在步骤2）中得到的唇形特征信息和在步骤3）中得到的语音特征信息进行同步性检测；所述采用预置的唇形与语音同步性检测指令对所述待认证唇形与语音同步性进行检测步骤具体包括将得到的唇形特征信息与语音特征信息进行口型语音同步检测，例如本技术方案中采用基于口型分类法，检测发音与唇形是否同步，并获取同步性指标； 

5）识别结果判定：将人脸识别结果及其相似度、语音识别结果及其相似度、发音与唇形同步性指标作为参量，在训练集上建立合适的分类模型，例如本技术方案中所使用的支持向量机（SVM）分类模型，在特征空间中构建最优分割超平面，获取最佳权重；在识别过程中，将2）、3）和4）步结果代入，若计算结果大于预设的阈值时，则认证成功；若该计算结果小于或等于预设的阈值时，则认证不成功。