[发明专利]一种基于机器学习模型的证件照合成方法和系统

权利要求书

1.一种基于机器学习模型的证件照合成系统，其特征在于，包括：

数据获取模块，用于获取包含有人脸的待处理图像及目标证件照的相关信息；

类别判断模块，用于识别所述待处理图像的类型；

人脸提取模块，用于根据所述待处理图像的类型，通过对应的机器学习模型从所述待处理图像中提取待处理人脸图像；

合成模块，用于基于所述待处理人脸图像和所述目标证件照的相关信息，生成所述目标证件照；

深度图像获取模块，包括多个深度图像获取终端，其中，所述深度图像获取终端用于获取深度图像；

所述系统还包括多个用户终端，其中，所述用户终端用于上传二维图像；

所述类别判断模块识别所述待处理图像的类型，包括：

根据所述待处理图像的来源，确定所述待处理图像的父类型，其中，所述父类型为所述深度图像或所述二维图像；

当确定所述待处理图像的父类型为所述二维图像时，根据所述待处理图像的像素的颜色分量，确定所述待处理图像的子类型，其中，所述子类型为证件照或生活照；

所述人脸提取模块根据所述待处理图像的类型，通过对应的机器学习模型从所述待处理图像中提取待处理人脸图像，包括：

所述待处理图像的父类型为所述深度图像时，通过深度信息抠图模型基于所述待处理图像的深度信息及像素的颜色分量提取所述待处理人脸图像，其中，所述深度信息抠图模型的输入包括像素信息序列，其中，像素信息序列由待处理图像中每个像素的深度信息及颜色分量组成，深度信息抠图模型的输出为人脸像素序列，人脸像素序列由所述待处理图像中多个判定为人脸的像素组成；

所述待处理图像的子类型为所述证件照时，通过证件照抠图模型从所述待处理图像中提取待处理人脸图像；

所述待处理图像的子类型为所述生活照时，通过生活照抠图模型从所述待处理图像中提取待处理人脸图像；

所述类别判断模块根据所述待处理图像的像素的颜色分量，确定所述待处理图像的子类型，包括：

根据所述待处理图像的像素的颜色分量，通过K-means聚类算法对所述待处理图像中的像素进行聚类，以确定多个像素簇，并确定每个所述像素簇包含的像素占所述待处理图像的比例，当存在一个像素簇对应的比例大于预设比例阈值时，判断所述待处理图像的子类型为证件照，当所有像素簇的比例均小于所述预设比例阈值时，判断所述待处理图像的子类型为生活照；

所述通过证件照抠图模型从所述待处理图像中提取所述待处理人脸图像包括以下阶段：

第一阶段：输入所述待处理图像，通过特征提取卷积层提取待处理图像的特征图；

第二阶段：将待处理图像的特征图输入至区域候选网络，所述区域候选网络在所述待处理图像的特征图上做一个大小为3x3的滑窗操作，得到一个通道是256维的特征图并生成多个候选区域，通过第一分类器判断候选区域属于前景或者后景，再利用边界框回归修正获得精确的候选区域的特征图，再根据候选区域和特征图，做区域特征聚集，综合这些信息后提取候选区域特征图，其中，区域候选网络的作用是用来提取候选框的，区域候选网络输出的是包含二元分类和边界矩形框回归的多任务模型；

第三阶段：将候选区域特征图分别传入分类器和边界框回归算法，获得检测物体类别和检测框最终的精确位置，通过FCN网络对每个感兴趣区域进行预测分割掩膜，将FCN网络的全连接层替换为卷积层，获得二维的特征图，最后再接入第二分类器获得每个像素的分类信息，实现逐像素的预测，提取所述待处理人脸图像。

2.如权利要求1所述的一种基于机器学习模型的证件照合成系统，其特征在于，所述人脸提取模块获取所述证件照抠图模型，包括：

生成初始证件照抠图模型；

获取多个样本图像，基于所述多个样本图像生成多个训练样本及多个测试样本；

通过所述多个训练样本及多个测试样本完成所述初始证件照抠图模型的训练及测试，生成所述证件照抠图模型。

3.如权利要求2所述的一种基于机器学习模型的证件照合成系统，其特征在于，所述人脸提取模块基于所述多个样本图像生成多个训练样本及多个测试样本，包括：

对所述多个样本图像进行预处理，其中，所述预处理至少包括去重复图像及去遮挡图像；

基于预处理后的多个样本图像生成多个训练样本及多个测试样本。