[发明专利]基于卷积神经网络的漫画人脸识别方法

说明书

本发明公开了一种基于卷积神经网络的漫画人脸识别方法，其步骤为：(1)生成训练集；(2)生成C‑F Loss损失函数；(3)训练Xception卷积神经网络；(4)生成识别图片集；(5)对漫画人脸图片进行识别。本发明采用Xception卷积神经网络提取特征，可以提取到更完整的漫画人脸特征获得更高的识别率，同时，本发明在交叉熵损失函数的基础上增加了Focal Loss损失函数生成一个C‑F Loss损失函数，解决了不同类中的图片数量的不平衡和图片在训练后输出对应类别名的难易程度的不平衡的问题。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像识别技术领域中一种基于卷积神经网络的漫画人脸识别方法。本发明可应用于从漫画人脸的图像中识别与该人脸对应的身份信息。

背景技术

漫画是一种艺术形式，是用简单而夸张的手法来描述人脸图像。同一个人也会有不同风格的人脸漫画图，不同风格的人脸漫画突出不同的人脸部分特征。对于这种漫画人脸肖像图，人能够较容易的辨别出该漫画人脸属于哪个人，但是对于机器而言，则具有一定挑战性。研究漫画人脸识别可以帮助我们更好地理解人类对人脸的感知。在单纯的面孔识别的基础上，对漫画的研究揭示了人类面孔感知的内在本质。计算机科学家从心理学研究中获得的见解可能会促进机器学习方法的发展，从而进一步提高漫画和人脸识别的性能。

Pushkar Shukla等人在其发表的论文“CARTOONNET:Caricature Recognition ofPublic Figures”(Proceedings of 3rd International Conference on ComputerVision and Image Processing，pp 1-10，2019)中提出了一种基于深度卷积神经网络的漫画人脸识别方法。论文中组成训练集的数据使用的是公开的IIIT-CFW数据集(Mishra etal.，European conference on computer vision,2016)，其中包括公众人物的漫画人脸图像。在该论文的实验过程中，从数据集中选取的类别需满足在所选的同一类的图片数量必须大于35张，将这些满足条件的类加入到训练过程中。该方法可以较好的应用到漫画人脸识别的实际情况中，但是，该方法仍然存在不足之处，由于该方法从数据集中只选择同一类的大于35张图片，而忽略了同一类中图像数量少的类别，导致在漫画人脸的识别过程中识别的人物数量减少，影响人脸对应的身份信息的识别数量。

杭州电子科技大学在其申请的专利文献“一种利用门控融合判别特征进行漫画人脸识别的方法”(申请号：201911157921.8，申请公布号：CN 111079549 A)中公开了一种利用门控融合判别特征进行漫画人脸识别的方法。该方法首先进行数据预处理，其次进行特征提取及融合，将17个局部特征与全局特征进行融合。全局特征通过缩放图片大小到112×96并输入到轻量级网络提取，最后通过融合后的漫画及人脸照片的特征计算余弦距离。该方法可以达到较好的识别结果，但是，该方法仍然存在不足之处是，由于该方法在提取全局特征时输入的图片为缩放后的图片，减少了每张图片的像素大小，而且特征提取采用的是轻量级网络，导致每张图片提取的特征不完整，影响人脸对应的身份信息识别率。

发明内容

本发明的目的在于针对上述已有技术的不足，提供一种基于卷积神经网络的漫画人脸识别方法。用于解决由于忽略了同一类中图像数量少的类别，导致在漫画人脸的识别过程中识别的人物数量减少以及由于图片特征提取不完整，导致影响影响人脸对应的身份信息识别率。

实现本发明目的的思路是，构建C-F Loss损失函数，用来解决图像数量少的类别不能加入训练中从而导致漫画人脸的识别过程中识别的人物数量减少的问题。训练中使用Xception卷积神经网络进行图片特征提取，用来解决图片特征提取不完整从而导致影响人脸对应的身份信息的识别率。

本发明实现的具体步骤如下：

(1)生成训练集：

(1a)采集每个待识别者的漫画人脸图片和人脸图片，每个待识别者至少采集15张图片；