[发明专利]一种基于生成对抗网络的漫画人物身份识别方法

权利要求书

1.一种基于生成对抗网络的漫画人物身份识别方法，其特征在于，包括步骤：

步骤S1：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；

步骤S2：构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；

步骤S3：构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；

步骤S3中构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片，步骤是：

步骤S31：将成对原始真实人脸图片x、漫画人脸图片y，及其对应关键点送入生成网络G中，G分为三个支路，分别为风格编码、内容编码和关键点检测；接着利用编码的风格E_S对编码的内容E_C进行纹理渲染记为R，为了防止风格渲染后的图片丢失语义信息，在此增加一个身份重构损失L_idr＝E[||R(E_C(x)，E_S(x))-x||₁],x为原始真实人脸图片，E[·]表示取一个训练批次中所有训练样本计算值的期望值；而后利用定位的关键点K与偏移量ΔK对渲染后的图片进行面部变形，记为W，得到生成的漫画图片W(R(E_C(x),E_S(x)),K,ΔK)；

步骤S32：将生成的漫画图片送入到判别网络D中，通过损失函数对其进行约束训练，最终得到漫画生成模型；

所述步骤S31中，关键点K是利用MTCNN方法对人脸图像进行检测，并将检测的左眼K₁、右眼K₂、鼻子K₃、嘴左K₄、嘴右K₅五个关键点坐标进行保存；面部变形是通过网络学习一组偏移量ΔK＝ΔK1，ΔK2,…，ΔKn，n为关键点的数目5，然后通过薄板样条插值对网格进行采样，从而生成具有多种风格且适合人特征夸大的漫画图片；

所述步骤S32中，通过三个损失函数对判别网络D进行约束，分别为对抗损失L_adv、身份一致性损失L_idc和漫画风格一致性损失L_csc，其中，对抗损失为：L_adv＝E[-logD(G(x,E_S))]+E[-logD(y)]；身份一致性损失为：L_idc＝E[-logD(G(x,E_S(x)),l)]+E[-logD(y,l)]，l为x对应的真实标签；漫画风格一致性损失为：L_csc＝E||MTCNN(G(x,E_S))-k||₁，k为y对应的关键点；

步骤S4：构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；步骤S4中构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，步骤是：

步骤S41：利用步骤S2中训练好的人脸检测对齐模型对用于训练和测试人物身份识别模型的数据进行预处理，得到对应的真实人脸和漫画人脸图片；

步骤S42：利用步骤S3中训练好的漫画生成模型将训练和测试数据中的真实人脸和行人转换成对应的漫画图片；

步骤S43：在训练阶段，将真实行人图片、真实人脸图片、漫画行人图片和漫画人脸图片分别送入到参数不共享的主干网络中去提取其各自的深度特征，而后分别将真实行人、人脸的深度特征和漫画行人、人脸的深度特征进行拼接，得到真实图片和漫画图片的融合特征；利用Softmax Loss对真实行人图片、真实人脸图片、漫画行人图片和漫画人脸图片所对应的深度特征，以及真实图片和漫画图片的融合特征进行身份约束；利用Triplet Loss对真实图片和漫画图片的融合特征进行相似度的约束；

步骤S44：在测试阶段，利用训练好的漫画人物身份识别模型分别提取查询库中漫画人脸和行人对应的融合特征、检索库中真实人脸和行人所生成的漫画图片对应的融合特征，而后计算查询库中融合特征与检索库中融合特征的相似度分数；

步骤S5：计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。