[发明专利]动态人脸图像重建的方法及装置

说明书

本发明提供的一种动态人脸图像重建的方法及装置，针对动态人脸图像以呈现高层次视觉特征信息为主的特点、不同属性面部特征是由不同的高级认知脑区负责加工的特性，采用三种不同属性高级特征信息，利用三种不同的高级认知脑区，获取到对应人脸三种不同属性高级特征信息的第一类神经响应数据、第二类神经响应数据和第三类神经响应数据，同时构建不同的高级认知脑区与动态人脸从视觉图像空间到脑感知空间的模型，以及模型之间的多维映射关系，获取到人脸基础图像、人脸表情图像和人脸身份图像，来实现多维度面部特征的重建，获取到动态人脸图像，可以重建一些患者感知到的动态人脸图像，使我们对精神疾病的认知障碍机理有更深入的理解和认知。

技术领域

本发明涉及图像处理技术，尤其涉及一种动态人脸图像重建的方法及装置。

背景技术

从脑部神经信号重现感知到的视觉物体是当前广受关注的一个前沿技术领域，它是指通过采集人类大脑的功能磁共振信号(functional Magnetic Resonance Imaging，简称：fMRI)，并借助于图像处理和机器学习算法，还原出被视觉所看到的视觉图像，人脸作为我们在认识自然和进行社会交往中最常遇到的、也是最为重要的一种视觉感知物，某些具有认知和精神障碍的疾病如面孔失认症、自闭症、老年痴呆症、帕金森病患者在识别动态面孔的高层次特征属性时存在缺陷，因此，需要通过人脸重建技术对待测用户大脑中想象的人脸进行图像的重建。

现有技术使用主成分分析(Principal Component Analysis，简称：PCA)，建立了特征人脸和神经响应信号之间的单一线性映射关系，来实现人脸图像的重建。

然而现有技术只能重建静态人脸图片，难以满足图像重建领域中对人脸多维信息重建的需求。

发明内容

本发明实施例提供一种动态人脸图像重建的方法及装置，实现了动态人脸重建，在重建的动态人脸图像中同时重建了表情特征、身份特征，丰富了重建的信息，提高了人脸重建的准确性。

本发明实施例的第一方面，提供一种动态人脸图像重建的方法，包括：

提取第一类神经响应数据，并根据所述第一类神经响应数据和预设的人脸图像重建模型，获取人脸基础图像。

提取第二类神经响应数据，并根据所述第二类神经响应数据和预设的人脸表情重建模型，获取人脸表情图像。

提取第三类神经响应数据，并根据所述第三类神经响应数据和预设的人脸身份重建模型，获取人脸身份图像。

根据所述人脸基础图像、所述人脸表情图像和所述人脸身份图像，获取动态人脸图像。

可选地，在第一方面的一种可能实现方式中，所述根据所述第一类神经响应数据和预设的人脸图像重建模型，获取人脸基础图像，包括：

根据如下公式一和所述第一类神经响应数据，获取人脸基础图像。

其中，X_{G_RECON}是所述人脸基础图像，是人脸图像重建模型中预设的动态人脸基础图像样本的平均图像，Y_test是所述第一类神经响应数据，是人脸图像重建模型中预设的动态人脸基础图像样本引起的第一类神经响应数据样本的平均数据，s_test是中Y_test的投影坐标，t_test是X_{G_RECON}的投影坐标，W_train是人脸图像重建模型中s_test-t_test变换矩阵，U_train是人脸图像重建模型中Y_test的特征向量，V_train是人脸图像重建模型中预设的动态人脸基础图像样本的特征向量。