[发明专利]基于两模态图强化特征学习的人脸识别方法

权利要求书

1.一种基于两模态图强化特征学习的人脸识别方法，包括以下步骤：

(1)首先对使用的人脸图像数据进行模态化处理：借助正交小波变换方法对人脸图像数据进行变换，得到两种类型的低频子图数据；本方法采用的是Coiflets变换和Daubechies变换，变换后的两种数据即为两种模态数据；

(2)将每个模态数据转换成对应的列向量，然后构建对应的模态样本训练集X＝{X₁,X₂,...,X_n}∈R^p×n和Y＝{Y₁,Y₂,...Y_n}∈R^q×n，并做中心化处理,其中p和q表示模态样本训练集X和Y的维数，n表示训练样本个数，X_i和Y_i(i＝1,2,...,n)表示模态样本训练集X和Y中的第i个样本；

(3)构建两模态图强化特征学习模型；

(4)对模型进行求解；

(5)利用并行融合策略进行特征融合；

(6)用近邻分类策略进行人脸识别。

2.依据权利要求1所述的两模态图强化特征学习的人脸识别方法，该方法特征学习在于步骤(3)所述的构建两模态图强化特征学习模型，按如下步骤进行：

(2a)对X和Y中样本采用聚类的方法进行维数分割，分割后得到H个独立空间，即获得X和Y的H个成分集，X和Y的第h个成分集X^h和Y^h可表示为此时X和Y表示为和Y_i^h表示对应数据集中第h个成分集的第i个样本；

(2b)构建成分集对应成分系数矩阵，具体构建方法如下：

将成分集中的每个样本做为构建成分图的顶点，其中和分别表示成分集X^h和Y^h对应的成分图系数矩阵，和表示该成分图系数矩阵的第(u,v)个元素，||*||表示样本*的二范数，由此可得X和Y的H个成分图系数矩阵，即和且和均为对称矩阵；

(2c)采用概率评估方法对类别信息进行分析：

表示属于的概率，其中为样本的类标签，同理可得到计算方法如下：

其中和分别表示和的前m个权重近邻样本中属于类的个数，m为一个经验参数，通常设为类中样本的数目，再借助概率评估结果确定类系数矩阵：

是成分集X^h的类系数矩阵，表示的第(u,v)个元素，具有与相似的定义，在融合系数中当和为同一类时让中第u行v列为与和的均值的平方，当和为不同类时中第u行v列为一减去与和的均值的平方，其中γ是为保证的权重平衡因子，与类似是成分集Y^h的类系数矩阵，且和也为对称矩阵，此时X和Y所对应的类系数矩阵集可表示为

(2d)图强化，利用成分图系数矩阵和类系数矩阵进行融合，具体方法如下：

符号表示矩阵中对应位置的元素相乘，其中h＝1,2,...,H，由于o^h和w^h均为对称矩阵，因而图强化后的强化矩阵G仍然具有对称，再由G构建拉普拉斯矩阵L：

(2e)构建两模态图强化特征学习模型：

由于训练样本全为均值化后的样本，此时XX^T表示X的方差，YY^T表示Y的方差，用于反映模态内样本的散布结构；XY^T表示X,Y间的协方差方差，显示两模态间样本的相似结构。

3.依据权利要求1中描述所述的两模图强化特征学习的人脸识别方法，其特征为求解步骤(4)所述的对模型进行求解，按如下步骤进行：

(3a)构建该模型拉格朗日乘子函数：

其中和为拉格朗日乘子，分别对上述函数的α和β进行求偏导运算，并令其结果为零，则可以得到如下两个等式：

由上式和约束条件可得：

(3b)由于λ₁＝λ₂，则可令λ₁＝λ₂＝λ，此时上述两个等式能转化为如下广义特征值分解的问题：

对上式广义特征值分解问题进行求解，可得到λ和其对应特征向量[α^T,β^T]^T，并对求得的λ进行由大到小排序，取前d个最大特征值λ_i(i＝1,2,...,d)对应的特征向量进而得到模态样本训练集X和Y的相关投影矩阵A＝{α₁,α₂,...,α_d}∈R^p×d和B＝{β₁,β₂,...,β_d}∈R^q×d。