[发明专利]一种基于生成对抗网络的漫画人物身份识别方法

说明书

本发明公开了一种基于生成对抗网络的漫画人物身份识别方法，包括：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。本发明对漫画人物身份识别具有精度高、速度快的优点。

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于生成对抗网络的漫画人物身份识别方法。

背景技术

过去几十年人脸识别一直是计算机视觉领域重点研究的问题。近年来，随着科技的迅速发展，特别是随着深度学习的快速发展，深度人脸识别模型在一些数据集上已经达到甚至超越了人类的识别水平，例如，在人脸识别最常用的LFW数据集上，现有的人脸识别算法可以达到99％以上的准确率。但是，已有的人脸识别算法大都是围绕真实的人脸图像进行研究的，很少有专门的算法来研究漫画人脸识别这一主题，以用于对漫画人物身份进行识别。

人脸识别是基于深度学习的面部分析技术，包括人脸检测与分析、五官定位、人脸比对与验证、人脸检索、活体检测等。漫画人脸识别属于人脸识别范式，称为异构人脸识别(HFR)。其任务是，识别出输入漫画人脸图对应身份的算法，即对于检索库中任意给定的漫画人脸图片，去查询库中寻找与之最相似的真实人脸图片，并通过相似度阈值判断两张图片是否是同一身份，如果是，返回对应的身份，否则返回不在库中。由于漫画具有强烈的讽刺性和幽默感，漫画人脸识别在计算机视觉领域中正受到越来越多的关注，漫画因其具有夸张的特征，这些特征往往会导致这些面部与隐含的人脸属性(例如面部对称性违反，异常的面部轮廓，不自然的肤色等)与大多数基准检测和识别技术存在着偏差。虽然这些技术在生物识别扫描仪和医疗保健设备等日常设备中广泛应用于人类，但卡通产业的惊人增长已经夸大了卡通面孔类似技术的需求，例如，在图像搜索引擎中加入用于搜索类似漫画的网页、与屏幕阅读器集成，以帮助视障人士了解卡通电影、帮助内容控制软件在社交媒体上审查不适当的卡通形象等。可以说，漫画人脸识别是一个具有广阔前景的研究主题，相信随着越来越多日漫数字化书籍的问世和各大娱乐平台的迅速发展，之后会有更多的漫画人脸技术应用到各个领域。

当前，漫画人物身份识别还处于新兴阶段，常用的方法也是简单的套用异构人脸识别的方法或其组合。然而这些方法都是基于两种不同模态间的相互识别，如3D图片和2D图片、红外图片和可见光图片，以及高分辨率图片和低分辨率图片等，同时这些图片的来源都是来自真实图片。如果简单的使用这些异构人脸识别的方法来对漫画人脸进行识别，往往会忽视漫画人脸最本质的特征，如不符合比例的眼睛鼻子嘴巴、夸张的表情、怪异的发型等。同时，漫画因为其多样性、丰富性和夸张性，不能简单的看为是两种模态间的相互识别。目前已有的方法仍无法较好地实现漫画人物身份识别，漫画人物身份识别算法仍有继续改进和发展的空间。

发明内容

为了克服现有漫画人物身份识别方法的不足和基于传统人脸识别算法特征单一的缺点，本发明提出了一种基于生成对抗网络的漫画人物身份识别方法，该方法利用漫画生成、漫画人脸与行人特征融合、漫画图片风格分类以及重排序的策略，可提升查询库中漫画行人在检索库中检索真实行人的准确率。

本发明的目的通过以下的技术方案实现：一种基于生成对抗网络的漫画人物身份识别方法，包括步骤：

步骤S1：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；

步骤S2：构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；

步骤S3：构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；