[发明专利]基于标签鉴别相关分析的多模态生物特征融合识别方法

说明书

本发明公开了一种基于标签鉴别相关分析的多模态生物特征层融合识别方法。首先将特征集与类别标签信息进行融合，为其建立准则函数，利用拉格朗日函数得出最优的投影向量，获取带有类别信息的特征集；其次针对带有类别信息的特征集，最小化其类内散度矩阵的同时，最大化两个模态特征集间协方差矩阵的相关性，抽取出具有更高鉴别能力的特征向量；最后，将所提出的融合方法应用到多模态特征中进行融合，实验结果验证了本申请所提出方法的有效性以及两种算法结合的合理性。

技术领域

本发明属于生物特征识别领域，特别涉及一种基于标签鉴别相关分析的多模态生物特征层融合识别方法。

背景技术

随着人工智能的高速发展，单模态的生物特征识别技术，如掌纹识别、虹膜识别、手势识别等，虽然取得了很好的效果，但是由于其单一性，已不能满足现在社会的安全性要求。多模态融合识别是将同一种模态的多个不同的生物特征或者多个不同的局部特征，通过采用某种融合规则，融合为一个整体进行识别，具有很强的安全性与可识别性，已成为近年来的研究热点。根据不同信息的融合，多模态生物特征融合技术可分为传感器层融合、特征层的融合、分数层融合、决策层融合。其中，特征层融合提取的是同一种模态的不同的特征，对这些特征进行组合且优化，既保留了较多的原始样本的信息，又可消除不同特征之间的冗余信息，从理论上来讲可以获取最高的融合性能。

最典型的特征融合方法是串行融合方法和并行融合方法。串行融合方法是将两个特征向量x，y首尾相连形成一个新的特征向量z，假设特征向量x的维度为p维，特征向量y的维度为q维，则新的特征向量z的维度为(p+q)维；并行融合方法是将两个特征向量构成一个复数向量z＝x+iy(i表示虚数单位)，如果两个特征向量的维度不相等，则维数低的特征向量补0。但是串行融合和并行融合容易造成“维数灾难”问题，如果两个特征向量维数不等的情况下，低维补0也增加了冗余信息。

孙权森等人利用典型相关分析，通过最大化两个特征向量在投影空间中的相关性达到特征融合的目的，实验效果优于串行融合和并行融合，成功应用于人脸等图像识别中。但是典型相关分析没有利用到类别标签的信息，一定程度上降低了算法的性能。LDA方法是将高维的样本投影到低维空间，使投影后的样本有最大类间距离和最小类内距离，其缺点是提取的特征向量的最大维数易受到类别数目的限制。Sun等人提出了一种鉴别型典型相关分析，不仅考虑了同类样本特征间的相关性，也考虑了不同类样本特征间的相关性，可最大化类内的相关性和最小化类间相关性。其缺点与LDA一样，抽取的最大特征维数易受到类别数目的影响，降低了算法的性能。广义典型相关分析通过最小化类内散度矩阵，约束类内散度矩阵达到利用类别标签信息的目的，提高了特征的鉴别能力。核典型相关分析通过核函数将样本特征映射到核空间中，在核空间中进行特征提取，核典型相关分析是典型相关分析的扩展方法，没有利用类别标签信息。Haghighat等人提出了鉴别型相关分析，通过单位化类间散度矩阵去除了不同类别特征之间的相关性，从而达到利用类别信息的目的。

发明内容

本发明的目的是针对基于特征层生物特征融合在多模态特征融合识别领域的不足进行改进，提供一种基于标签鉴别相关分析的多模态生物特征层融合识别方法。

为了实现上述目的，本发明采用以下技术方案：一种基于标签鉴别相关分析的多模态生物特征融合识别方法，包括以下步骤：

步骤1：输入多模态图像的特征向量；

步骤2：针对不同生物特征，将类别标签和生物特征进行融合，进而得到带有类别标签信息的特征集；

步骤3：将步骤2获得的不同模态特征集进行融合，利用两者之间的最大相关性，建立准则函数求出投影向量，进而求出融合后的特征集；

步骤4：将步骤3中得到的特征集分别采用并行融合和串行融合的方法，通过最邻近方法进行分类识别。

进一步的，步骤2中类别标签和特征融合采用以下步骤：