[发明专利]一种基于分布独立性的3D人脸解耦表示学习方法有效
申请号: | 202010023676.8 | 申请日: | 2020-01-09 |
公开(公告)号: | CN111259745B | 公开(公告)日: | 2022-07-12 |
发明(设计)人: | 余璀璨;张子辉;李慧斌;孙剑 | 申请(专利权)人: | 西安交通大学 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/82;G06V10/84;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 西安通大专利代理有限责任公司 61200 | 代理人: | 李晓晓 |
地址: | 710049 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 分布 独立性 人脸解耦 表示 学习方法 | ||
1.一种基于分布独立性的3D人脸解耦表示学习方法,其特征在于,包括以下步骤:
步骤1:收集3D人脸数据集,将数据集分为训练集和测试集;
步骤2:根据训练目标对数据集全体数据进行预处理及配准;
步骤3:构造用于解耦表示学习的图卷积神经网络模型;
步骤4:使用训练集训练用于解耦表示学习的图卷积神经网络模型;
其中,输入3D人脸若干节点和边构成的网格M,经过编码器编码为身份表示zid及表情表示zexp,将身份、表情表示传递给解码器Did与Dexp,解码器重建的3D人脸与原始输入相似:
Lrec=||Did(zid)+Dexp(zexp)-M||1
其中,Lrec为重建损失,Did为身份解码器,zid为身份表示,Dexp为表情解码器,zexp为表情表示;
分别约束表情重建与身份重建的结果:
其中,Mid为M的中性表情,Mexp为带有与M相同的表情的模板脸,Mid和Mexp分别表示M的身份和表情,为身份重建损失,Did(zid)为身份解码器重建的3D人脸身份,为表情重建损失,Dexp(zexp)为表情解码器重建的3D人脸表情;
同时约束3D人脸的身份、表情在特征空间的分布为标准正态分布N(0,1):
判别器损失为交叉熵损失:
其中,zj和分别表示从联合分布q(zid,zexp)和乘积分布q(zid)q(zexp)采样的样本,m为批数量,D(zj)表示判别器判别zj采自身份与表情分布独立的分布的概率,表示判别器判别采自身份与表情分布独立的分布的概率;
训练过程的总损失为:
其中,α1,α2,β为超参数,Ltotal为总损失函数;
步骤5:训练完成后,用于解耦表示学习的图卷积神经网络模型将输入的3D人脸解耦为身份和表情两个部分。
2.根据权利要求1所述的一种基于分布独立性的3D人脸解耦表示学习方法,其特征在于,步骤2中,配准后,每个3D人脸样本用若干节点和边构成的网格M={V,A}表示;|V|=n代表3D欧氏空间中的n个节点,V∈Rn×3;稀疏邻接矩阵A∈{0,1}n×n表示节点之间的连接关系,Aij=0表示节点vi和vj之间没有连接,反之,Aij=1表示节点vi和vj之间有连接。
3.根据权利要求1所述的一种基于分布独立性的3D人脸解耦表示学习方法,其特征在于,步骤3中,用于解耦表示学习的图卷积神经网络模型包括三个部分,分别为编码器、解码器和判别器;编码器输入3D人脸网格,输出对应的身份表示和表情表示,解码器的输入层为编码器的输出层的结果,解码器将身份表示和表情表示重建出3D人脸,判别器的输入层也连接编码器的输出层,用于判别身份表示与表情表示是否分布独立。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安交通大学,未经西安交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010023676.8/1.html,转载请声明来源钻瓜专利网。