[发明专利]一种基于形状语义模型约束的人脸超分辨率处理方法

摘要

本发明涉及图像超分辨率处理技术领域，尤其涉及一种基于形状语义模型约束的人脸超分辨率处理方法。本发明利用人眼获取图像结构信息对于像素噪声干扰的鲁棒作用，构建结合人脸形状语义信息的代价函数，并在求解过程中通过训练统一形状正则项的变量和重建误差项的变量，获得单变量的代价函数，减小计算复杂度，然后利用最速下降法求解。本发明在人脸超分辨率过程中结合了人工理解的形状语义信息，利用形状语义正则约束提高了人脸超分辨率结果的像的相似性。

主权项

1.一种基于形状语义模型约束的人脸超分辨率处理方法，其特征在于，包括以下步骤：①利用仿射变化对齐人脸图像样本库，并构建图像样本库矩阵；②利用所有样本库图像平均获得平均脸，样本库图像减去平均脸得到残差脸图像；③通过对样本库人脸图像标记特征点，利用这些特征点的坐标构成向量来表示人脸形状，将所有的形状向量按列构成图像形状样本库矩阵；④对上述步骤获得的形状样本库矩阵应用主成份分析PCA，得到形状特征空间的特征形状矩阵U，特征向量矩阵V和奇异值矩阵Λ；⑤利用手工标记输入图像的特征点，特征点的坐标构成输入图像的形状向量I；⑥根据输入图像的形状向量I，将其投影到样本图像形状PCA子空间U中，获得输入图像形状系数s′，具体计算如：s′＝(UU^T)^-1U^TI；⑦样本库的所有图像系数向量就构成样本库的图像系数矩阵c′，类似的利用所有的形状系数向量得到形状样本库系数矩阵c，将c′和c连接成一个统一系数矩阵X，对X应用主成份分析方法获得系数映射矩阵形如⑧将输入图像上采样后投影到图像PCA子空间上获得的图像初始系数；⑨利用最速下降法求解代价函数：i^=argmin(||Y-DB(m‾+LQc′i)||2+λ1||Γ(m‾+LQc′i)||2+λ2||S‾+AQci-I||2+λ3||Λ12VTQci-s′||2)]]>其中，Y为低分辨率图像，B是镜头光学模糊矩阵，D是由CCD尺寸决定的下采样矩阵，为样本库平均人脸图像，L是样本图像减去平均人脸图像的残差，Q_c′是图像系数映射矩阵，Г是拉普拉斯算子，是形状样本库的平均形状，A是样本形状残差，i是图像系数和形状系数经过变化后的统一向量，它是未知变量，I是输入低分辨率图像的形状，它通过将低分辨率放大后人工标示语义点来获得，Q_c是形状系数映射矩阵，V是A^TA的正交特征向量，是奇异值对角矩阵，s是输入图像的形状系数，它由输入图像的形状投影到PCA子空间中得到，λ₁，λ₂，λ₃是平衡因子常量，为优化计算后得到的变量i的估计值，‖·‖为l₂范数操作，argmin(.)表示求函数值最小时自变量的值；⑩利用下述公式得到超分辨率人脸图像：Z^=m‾+LQc′i^]]>其中，表示最终获得的目标超分辨率人脸图像。